- 博客(133)
- 收藏
- 关注
RSS订阅原创 Linux 命令总结
find /home/user1 -name '*.txt' | xargs cp -av --target-directory=/home/backup/ --parents 从一个目录查找并复制所有以 '.txt' 结尾的文件到另一个目录。mkisofs -J -allow-leading-dots -R -V "Label CD" -iso-level 4 -o ./cd.iso data_cd 创建一个目录的iso镜像文件。
2023-04-03 09:49:06
689
1
原创 六阶段大数据--day06--Apache Flume/ Source案例练习/ 集群部署
一 Apache Flume1． 概述Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。Flume的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel),待数据真正到达目的地(sink)后，flume再删除自己缓存的数据。Flume支持定制各类数据发送方，用于收集各类型数据；同时，Flume支持定制各种数据...
2022-01-18 22:37:34
1625
原创 六阶段大数据--day05--创建数据库与创建数据库表/ hive查询方法/ hive的FAQ
----紧接day04笔记继续编辑-----3.2外部表：外部表说明：外部表因为是指定其他的hdfs路径的数据加载到表当中来，所以hive表会认为自己不完全独占这份数据，所以删除hive表的时候，数据仍然存放在hdfs当中，不会删掉。内部表：当删除表的时候，表结构和表数据全部都会删除掉。外部表：当删除表的时候，认为表的数据会被其他人使用，自己没有独享数据的权利，所以只会删除掉表的结构（元数据），不会删除表的数据。操作案例:分别创建老师与学生表外部表，并向表中加载数据创建老师.
2022-01-12 00:05:48
820
原创 六阶段大数据--day04--Hive简介/ HIVE的安装部署/ 创建数据库与创建数据库表/ hive查询方法/ hive的FAQ
1.Hive简介1.1什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能（HQL）。其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，说白了hive可以理解为一个将SQL转换为MapReduce的任务的工具，甚至更进一步可以说hive就是一个MapReduce的客户端。1.2为什么使用Hive 直接使用hadoop所面临的问题 人员学习成本太高 项目周期要求太短..
2021-12-16 21:13:23
276
原创 六阶段大数据--day03--hadoop分布式文件系统HDFS/ MapReduce介绍/ Yarn资源调度
一 分布式文件系统HDFS1.HDFS的来源HDFS:Hadoop Distributed File system(hadoop分布式文件系统)HDFS起源于Google的GFS论文（GFS，Mapreduce，BigTable为google的旧的三驾马车）HBASE（1） 发表于2003年10月（2）HDFS是GFS的克隆版（3）易于扩展的分布式文件系统（4）运行在大量普通廉价机器上，提供容错机制（5）为大量用户提供性能不错的文件存取服务2.HDFS的架构...
2021-12-09 23:25:34
1620
原创 六阶段大数据--day02--hadoop入门
一 Hadoop介绍1 hadoop的定义hadoop是一个分布式存储和分布式计算的框架。是围绕数据分析为核心的框架.分布式存储即,数据库中一份数据复制多份存储(冗余存储)2 hadoop的核心组件HDFS：分布式存储组件 MapReduce：分布式计算组件 Yarn：资源调度管理器3 hadoop的介绍及发展历史 Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩..
2021-11-19 23:08:39
1302
原创 六阶段大数据--day01--hadoop集群环境准备
1 集群环境准备解压CentOS7-bigdata.zip虚拟机,复制成三个虚拟机名为: hadoop01,hadoop02,hadoop03文件夹; 通过vmware打开这三个虚拟机--bigdata.vmx ,重命名为 hadoop01,hadoop02,hadoop03 对虚拟机进行设备设置:如下图所示4. 设置虚拟机网络5. 分别启动三台虚拟机6.登录虚拟机:用户名密码都是root , ip addr命令查看设置的ip,也就是你的网关ip是不是上面设置...
2021-11-09 00:43:48
1758
1
原创 五阶段--总结
springcloud netflix 注册中心 -- Eureka、Nacos 配置中心 -- Springcloud config、Nacos API网关 -- Zuul、 Springcloud Gateway 远程调用、负载均衡、重试 -- Feign、Ribbon 容错、限流 -- Hystrix、Sentinel 监控 -- Hystrix-dashboard+Turbine、 Sleuth+zipkin 消息服务、消息中间件（broker）、消息队列 ..
2021-10-09 19:55:18
90
原创 五阶段--k8s部署Spring Cloud应用
/k8s部署Spring Cloud应用_wanght笔记-CSDN博客一 构建镜像二导出镜像,再导入其他服务器从191导出五个镜像,压缩后导入到192/193docker save \ centos7-jdk8:v1 \ sp-eureka:v1 \ sp-item:v1 \ sp-user:v1 \ sp-order:v1 \ | gzip >...
2021-10-09 17:14:59
720
原创 五阶段--Kubernetes运用
一 K8s 三个核心对象1. Pod -- 包含多个docker容器K8s 对Docker 容器的封装对象 (容器) 对Docker容器进行自动管理,控制 Pod对底层容器化技术进行解耦--该技术包括docker和containerd2. 控制器自动部署容器的工具--只需要指定部署容器的数量,它就会帮助创建部署3.Service对容器提供一个固定不变的访问地址用户访问service地址,service会把请求进行转发到容器二 初步尝试 kubernete...
2021-09-30 17:51:14
949
1
原创 五阶段--Spring Data Elasticsearch - 增删改查API / 使用 Criteria 构建查询 / Spring Data ES 分页操作 /拼多商城搜索条
Spring Data Elasticsearchhttps://docs.spring.io/spring-data/elasticsearch/docs/current/reference/html/#referenceSpring Data Elasticsearch 是 Elasticsearch 搜索引擎开发的解决方案。它提供：模板对象，用于存储、搜索、排序文档和构建聚合的高级API。案例说明在 Elasticsearch 中存储学生数据，并对学生数据进行搜索测试。..
2021-09-29 12:56:23
1201
原创 五阶段--使用 Kibana 操作 ES/ 搜索
一使用 Kibana 操作 ES1下载 Kibana 镜像docker pull kibana:7.9.32启动 Kibana 容器docker run \-d \--name kibana \--net es-net \-p 5601:5601 \-e ELASTICSEARCH_HOSTS='["http://node1:9200","http://node2:9200","http://node3:9200"]' \--restart=always \k...
2021-09-28 17:36:13
1068
原创 五阶段--Elasticsearch简介/ Docker搭建ES集群/ IK中文分词器
ElasticSearch从入门到精通，史上最全（持续更新，未完待续，每天一点点）_Null的博客-CSDN博客_elasticsearch入门一Elasticsearch 简介1 概述ElasticSearch：智能搜索，分布式的搜索引擎是ELK的一个组成,是一个产品，而且是非常完善的产品，ELK代表的是：E就是ElasticSearch，L就是Logstach，K就是kibanaE：EalsticSearch 搜索和分析的功能L：Logstach 搜集数据的功能，类似于flum.
2021-09-28 15:21:48
286
原创 五阶段--一键安装Kubernetes集群
一 集群方案使用三台物理机或VMware虚拟机来搭建集群环境，一台主控服务器，两台工作节点服务器。如果资源有限也可以去掉一个工作节点，使用两台服务器。一 集群安装准备...
2021-09-28 10:23:29
549
原创 五阶段--Docker 案例 / Docker搭建redis主从+哨兵/ Docker 搭建redis集群
一关闭防火墙# 关闭防火墙systemctl stop firewalld.service# 禁止防火墙开机启动systemctl disable firewalld.service二启动或重启docker# 启动dockersystemctl start docker# 重启dockersystemctl restart docker# 清理容器 docker rm -f $(docker ps -aq) # 删除虚拟网络docker network ...
2021-09-27 17:32:45
271
原创 五阶段--Docker
1.克隆 docker-base: docker2.设置ip./ip-staticip: 192.168.64.150ifconfig3.上传文件docker-images.gz tomcat文件按夹4.导入镜像docker load -i docker-images.gz
2021-09-26 16:26:19
491
原创 五阶段--分布式事务（八）Spring Cloud微服务系统基于Rocketmq可靠消息最终一致性实现分布式事务
1 导入订单业务模块1. seata-at/无事务版本.zip 解压到 rocketmq-dtx 工程目录2. 在idea通过maven导入pom文件的方式导入7个模块2 在订单添加事务消息发送--生产者1. order-parent父工程的pom.xml 添加 rocketmq 依赖 <dependency> <groupId>org.apache.rocketmq</groupId> ..
2021-09-26 12:38:27
198
原创 五阶段--RocketMQ (四) 使用RocketMQ原生API收发消息代码样例
一 工程准备首先:启动rocketmq以及管理界面# 进入 rocketmq 目录cd /usr/local/rocketmq/# 启动 name servernohup sh bin/mqnamesrv &# 启动 broker, 连接name server: localhost:9876nohup sh bin/mqbroker -n localhost:9876 &# 运行管理界面nohup java -jar rocketmq-console-n..
2021-09-24 18:09:07
1043
原创 五阶段--Rocketmq--搭建Rockemq 服务器/基本原理
一搭建Rockemq 服务器1. 克隆centos-8-2105 或者 centos-7-1908 改名为: rocketmq2. 设置ip./ip-staticip: 192.168.64.141#查看ifconfig3. 上传文件到/root/课前资料/分布式事务/rocketmq/文件夹下的三个文件4 按照rocketmq 笔记安装RocketMQ (一) 安装注意:解压缩 rocketmq 要在root目录下解压安装配置 jdk81. 上传...
2021-09-24 14:36:37
924
原创 五阶段--分布式事务--Spring Cloud微服务系统基于Rocketmq可靠消息最终一致性实现分布式事务
一安装搭建 Rocketmq 服务器搭建单机 Rocketmq 服务器笔记：《RocketMQ (一) 安装》搭建双主双从同步复制 Rocketmq 服务器笔记：《RocketMQ (二) 双主双从同步复制集群方案》二基于 Rocketmq 可靠消息的分布式事务方案原理Rocketmq事务消息笔记：《RocketMQ 发送事务消息原理分析和代码实现》...
2021-09-24 11:32:57
66
原创 拓展--CGLib代理
java 动态代理1.JDK Proxy 动态代理:必须有接口,基于接口创建动态代理对象,如果没有接口,则无法使用JDK动态代理 MyBatis Mapper 是接口,则使用了JDK Proxy2.CGLib动态代理可以没有接口,基于类创建动态代理 优势就是没有接口也可以进行动态代理3.Spring的核心功能AOP在单独使用Sping:如果有接口就使用JDK Proxy ,如果没有接口就使用CGLib作为动态代理 在Spring Boot中,默认优先使用CGLib作为动态代理..
2021-09-23 21:12:24
59
原创 五阶段--分布式事务--Seata TCC模式-TCC模式/Spring Cloud微服务添加 TCC 分布式事务
分布式事务（六）Seata TCC模式-TCC模式介绍一 TCC 基本原理TCC 与 Seata AT 事务一样都是两阶段事务，它与 AT 事务的主要区别为：TCC 对业务代码侵入严重 每个阶段的数据操作都要自己进行编码来实现，事务框架无法自动处理。 TCC 效率更高 不必对数据加全局锁，允许多个事务并发同时操作数据。二 TCC 事务1 创建工程,导入项目第一步: 创建 empty project: seata-tcc ,与seata-at工程区分开第二步: ...
2021-09-23 15:06:36
752
原创 五阶段--分布式事务--订单业务添加seata-at 全局事务协调器
在《分布式事务（三）Seata分布式事务框架-AT模式介绍》中介绍了 Seata AT 事务原理，介绍了 AT 事务的三个角色：TC（事务协调器）、TM（事务管理器）和RM（资源管理器），其中 TM 和 RM 是嵌入在业务应用中的，而 TC 则是一个独立服务。一 TC全局事务协调器 --seata server1.解压'课前资料/分布式事务/seata-server-1.3.0.zip'2.三个配置文件,conf文件中拉进idea中进行编辑2.1 register.conf--向..
2021-09-22 18:08:44
707
原创 五阶段--分布式事务--Seata AT模式-Spring Cloud微服务案例
分布式事务（一）Mysql本地事务和事务隔离级别分布式事务（二）分布式事务方案分布式事务（三）Seata分布式事务框架-AT模式介绍从分布式事务(四)开始:订单业务案例1创建 Empty Project：seata-at先新建文件夹seata-samples，后面测试的 Seata AT 和 Seata TCC 模式都放在该目录下。接着创建seata-at项目：选择Empty Project：2 数据库初始化工具订单案例涉及四个数据库：为了后续测试...
2021-09-18 18:52:24
194
原创 五阶段--RabbitMQ - Spring boot 整合
一 spring boot 项目整合rabbitmq的准备RabbitMQ - Spring boot 整合_wanght笔记-CSDN博客新建rabbitmq-spring项目下一步:搜索rabbitmq依赖并finish添加第一步:pom.xml文件修改版本为2.3.2.RELEASE第二步:配置文件修改后缀为.yml文件,进行rabbitmq的连接配置spring: rabbitmq: host: 192.168.64.140 #wht6.cn
2021-09-17 19:03:29
158
原创 pd-web商城项目连接Rabbitmq服务
1 工程导入流程1. 解压pd压缩包,到Rbbitmq Project项目包下,idea导入解压后的pd-web工程,2. 修改pom文件版本3. 复制pd-web工程下的pd.sql文件的绝对路径,4. 打开SQLYog数据库,右键导入pd.sql的路径,生成pd.store数据库5. 确认JDK版本6 启动RunApp类,编辑工作目录后,再重启7.重启启动类后,输入url为localhost访问8.删除这个用户,订单,商品订单......
2021-09-17 13:01:12
513
原创 五阶段--config bus + rabbitmq 消息总线配置刷新 //sleuth链路跟踪 + zipkin 收集并提供可视化链路分析
spring cloud 配置中心连接rabbitmq消息服务器一 config bus + rabbitmq 消息总线配置刷新本章节结合 上面的链接继续编辑1对BUS消息总线使用的解释:2 BUS消息总线 配置刷新第一步:依次启动05,09,02,03,04,06服务,查看02,03工程启动日志是否连接到rabbitmq消息服务器第二步: 修改2/3/4/9工程,添加依赖: bus,rabbitmq,rabbitmq-binder再手动添加...
2021-09-16 12:36:10
130
原创 五阶段--消息服务、消息中间件(broker)、消息队列/rabbitmq的使用场景/六种工作模式
一消息服务、消息中间件(broker)、消息队列1搭建 Docker 环境 克隆 centos-8 或 centos-7： docker-base 设置ip ./ip-staticip: 192.168.64.150ifconfig注意:若这里出现error,需要使用这两个命令,再重新设置ipnmcli n onsystemctl restart NetworkManager 3.安装 docker，参考csdn笔记:Docker（一） -...
2021-09-14 21:02:50
1321
原创 五阶段--day03--Turbine聚合监控数据/配置中心写到git仓库拉取配置
一 Turbine 聚合监控数据06工程的高可用1. 右键点06的启动配置program arguments: --server.port.3001 启动配置名称改成:sp06Zuul-3001 右键,copy configuration 修改两个3001和3002右键 copy3001的改为3002访问以下url, 产生日志:http://localhost:3001/item-service/6u5y4t3r?token=y4tf34thttp://loca...
2021-09-14 14:21:53
84
原创 五阶段--day02--rabbitmq课前准备,使用centos-8的虚拟机
一 VMware 虚拟机版本:最后使用最新的vmware 16+vmware网络故障,可以重置网络:编辑--虚拟网络编辑器--左下角按钮"还原默认设置" 会删除所有的虚拟网络,NAT 网络:统一设置成64网段: 编辑--虚拟网络编辑器--选择vmnet8 -- 左下角设置网段:192.168.64.0虚拟机:1. 课前资料/虚拟机/目录下centos-8-2105 centos-7-19082. 在这两个虚拟机中提供了基础配置:...
2021-09-13 18:30:30
64
原创 五阶段--day02--zuul 请求过滤/降级容错/限流/日志监控仪表盘
一zuul 请求过滤,统一权限的校验通过zuul的过滤器,判断用户权限有权限,继续转发调用 没有权限,从网关直接返回结果模拟判断是否登录:http://localhost:3001/item-service/123456 -----没有令牌代表没有登录,不允许访问 http://localhost:3001/item-service/123456?token=u6y54t ---携带token,已登录,可访问步骤:1. 继承ZuulFilter 过滤器2....
2021-09-13 11:11:42
697
原创 五阶段总汇--spring cloud /RabbiteMQ/分布式事务/RocketMQ/Docker/Kubernetes/Lucene Solr/Elasticsearch/Java基础
一 springclaoud微服务1--搭建springcloud 业务模块2--搭建eureka 注册中心
2021-09-09 19:54:55
200
原创 五阶段--day01--2--搭建eureka/eureka 注册与发现/eureka高可用测试/API网关 Zuul
常见的注册中心:nacos, eureka,zookeeper,etcd,consul...一 搭建eureka 注册中心12 添加 eureka server 依赖3 pom.xml 调整版本:springboot: 2.3.2.RELEASEspringcloud: Hoxton.SR64 yml禁用自我保护模式主机名针对单台服务器,不向自己注册,不从自己拉取5 启动类的注解:第一步:创建eureka注册中心工程第二步:修改pom...
2021-09-09 19:48:33
421
原创 五阶段--day01--1--搭建springcloud 业务模块
一 搭建springcloud 业务模块1新建maven配置File-->new project seetings -->settings for new project 这里配置好,每次新建工程,都应用这个配置1 新建Empty project 工程: springcloud12 新建maven模块:sp01-commons ,用于存放业务模块中的通用代码3.配置maven环境,基础环境配置JDK版本:8工程编码:4....
2021-09-09 15:45:44
116
原创 五阶段BUG集--Could not create the Java Virtual Machine/java找不到符号/配置文件不是绿叶的解决办法
Unrecognized option: --add-opens=jdk.compiler/com.sun.tools.javac.code=ALL-UNNAMEDError: Could not create the Java Virtual Machine.Error: A fatal exception has occurred. Program will exit.确定了是idea的设置问题，着重检查了jdk相关的东西，果然有个小毛病。我的jdk是1.8的，而新版idea将我的项目语言...
2021-09-09 13:42:46
470
转载 四阶段--day17--Redis高级特性应用实践
一Redis主从复制1 概述单个Redis支持的读写能力还是有限的,此时我们可以使用多个redis来提高redis的并发处理能力,这些redis如何协同,就需要有一定的架构设计,这里我们首先从主从(Master/Slave)架构进行分析和实现.2redis主从架构其中,master负责读写,并将数据同步到salve,从节点负责读操作.3 入门案例基于redis,设计一主从架构,一个Master,两个Slave,其中Master负责Redis读写操作,并将数据同步到Sla...
2021-09-08 10:13:08
186
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人