- 博客(15)
- 收藏
- 关注
RSS订阅原创 安装和环境搭建--Zookeeper学习笔记
Zookeeper，一个基于观察者模式设计的分布式服务管理框架，负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。Zookeeper集群包含一个Leader、若干个follower，集群只要有半数以上节点存活Zookeeper集群就能正常服务。集群全局数据一致；更新请求顺序进行：来自同一个Client的更新请求按其发送顺序依次执行；数据更新原子性：一次数据更新要么成功，要么失败。
2020-10-31 14:51:16
105
原创 MapReduce--Hadoop学习笔记
FileInputFormatFileInputFormat是基本的数据读取类型，包括TextInputFormat、KeyValueInputFormat、NLineInputFormat、CombineTextInputFormat以及自定义的InputFormat。TextInputFormat：默认的类型，key是偏移量Long类型，value是一行的数据；KeyValueInputFormat：默认以tab分割，一行数据中tab前是key，tab后面是value；NLineInputFo
2020-10-29 15:28:28
96
原创 Hadoop下的压缩与解压--Hadoop学习笔记
压缩与解压这里压缩和解压是在Hadoop框架下进行的，需要Hadoop环境。这里以BZip2和Gzip压缩格式为例，直接上代码。package compress;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IOUtils;import org.apache.hadoop.io.compress.CompressionCodec;
2020-10-29 14:31:58
827
原创 protobuf在idea上的demo实例
先导入依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/x
2020-10-27 10:43:01
212
原创 WordCount实现--Hadoop学习笔记
首先添加依赖pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apac
2020-10-26 17:22:48
110
原创 Idea上Hadoop的简单使用--Hadoop学习笔记
集成IDEA首先配置好环境变量，新建Maven工程。添加pom依赖，这里注意对应的hadoop版本<dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.13</version>
2020-10-26 17:18:21
3066
原创 HDFS常用命令--Hadoop学习笔记
HDFS常用命令启动集群hdfs：sbin/start-dfs.sh启动集群yarn：sbin/start-yarn.shhelp：hadoop fs -help rm显示目录信息：hadoop fs -ls /在HDFS上创建目录：hadoop fs -mkdir -p /user本地剪切到HDFS：hadoop fs -moveFromLocal x.txt /user追加文件到另一个已存在文件的末尾：hadoop fs -appendToFile x.txt /user/xx.txt
2020-10-26 17:16:44
85
原创 添加白名单、黑名单--Hadoop学习笔记
添加白名单102上创建dfs.hosts文件[root@hadoop102 hadoop]# pwd/opt/module/hadoop-2.8.2/etc/hadoop[root@hadoop102 hadoop]# touch dfs.hosts[root@hadoop102 hadoop]# vi dfs.hosts 添加白名单机器名称hadoop102hadoop103hadoop104修改hdfs-site.xml，使白名单生效[root@hadoop102 hadoop
2020-10-26 17:15:52
402
原创 集群时间同步、定时任务--Hadoop学习笔记
定时任务每隔一分钟向/opt/module/hadoop-2.8.2/bailong.txt中追加一个+号。[root@hadoop102 hadoop-2.8.2]# crontab -e*/1 * * * * /bin/echo "+" >> /opt/module/hadoop-2.8.2/bailong.txt启动服务[root@hadoop102 hadoop-2.8.2]# service crond restart查看文件[root@hadoop102 hado
2020-10-22 14:33:16
456
原创 集群配置与搭建--Hadoop学习笔记
集群配置该集群有102、103、104三台机器。hadoop102hadoop103hadoop104HDFSNameNode、DataNodeDataNodeSecondaryNameNode、DataNodeYARNNodeManagerResourceManager、NodeManagerNodeManagerxsync脚本先创建文件，放在bin目录下[root@hadoop102 ~]# mkdir bin[root@hadoop102 bi
2020-10-22 13:34:21
149
原创 虚拟机配置及克隆--Hadoop学习笔记
Hadoop概述Hadoop2.X组成Hadoop包括Common、HDFS、Yarn、MapReduceCommon辅助工具HDFS数据存储NameNode：存储文件元数据，可以理解为目录DataNode：本地文件系统存储文件块数据，即实实在在的数据SecondaryNameNode：监控HDFS状态的辅助后台程序Yarn资源调度ResourceManager（RM）：处理客户端请求，监控NodeManager，监控ApplicationMaster，资源调度与分配NodeM
2020-10-22 13:32:47
321
原创 stream消息驱动--SpringCloud学习笔记
快速使用先写一个8801消息的提供者。pom依赖添加<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 ht
2020-10-12 16:42:33
98
原创 config配置中心--SpringCloud学习笔记
3344配置中心前提是git相关已经配置好，在idea上配置好git就可以开始下面的步骤。pom<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.a
2020-10-12 11:13:55
193
原创 Gateway网关配置--SpringCloud学习笔记
配置Gateway端口9527简单的配置使用pom<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 htt
2020-10-09 15:41:33
321
原创 Hystrix负载均衡--SpringCloud学习笔记
Hystrix是一个用于处理分布式系统的延迟和容错的开源库，能保证在一个依赖出问题的情况下不会导致整体服务失败，避免级联故障，以提高分布式系统的弹性。服务降级fallback服务器忙，请稍后再试，不让客户端等待并立刻返回一个友好提示程序运行异常超时服务熔断触发服务降级线程池、信号量打满也会导致服务降级服务熔断break达到最大服务访问后，直接拒绝访问，然后调用服务降级的方法并返回友好提示服务限流flowlimit秒杀高并发等操作，严禁一窝蜂的过来拥挤服务降级一般是放在客户端
2020-10-09 10:57:51
430
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人