![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 82
大数据相关
MartinGQ
这个作者很懒,什么都没留下…
展开
-
Zookeeper安装教程(本地、集群)
0.安装前准备(1)安装 JDK(2)下载 Zookeeper 安装包,并将安装包传到服务器上下载地址:官方下载地址1.本地模式安装本地模式的安装很简单,将安装包解压到指定目录,然后修改一个配置即可。(1)将安装包解压到指定目录[admin@hadoop102 software]$ tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/每个人的目录可能不一样,按照自己的目录规划来,直接解压安装包就行。(2)修改配置来原创 2021-08-24 12:19:35 · 20151 阅读 · 0 评论 -
Hadoop调优手册(1)——HDFS核心参数
以下配置均针对Hadoop3.x系列1.NameNode、DataNode内存配置配置文件:hadoop-env.sh由hadoop-env.sh文件中的描述可知:(1)守护进程将在 _OPT参数中选择 Xmx设置作为Hadoop内存大小。(2)Hadoop的内存默认是动态分配的:若在 _OPT参数中没有设置 Xmx,则JVM会根据服务器内存大小,自动为Hadoop分配内存。# The maximum amount of heap to use (Java -Xmx). I..原创 2021-08-11 12:28:33 · 1621 阅读 · 0 评论 -
Hadoop调优手册(2)——集群压测
1.通过限制网速,看测试结果的速度是否“满速”2.通过不限制网速,看测试结果的速度是否接近硬盘读写速度原创 2021-08-11 12:28:57 · 614 阅读 · 0 评论 -
Hadoop调优手册(3)——HDFS多目录
NameNodeDataNode原创 2021-08-11 12:29:24 · 275 阅读 · 0 评论 -
Hadoop调优手册(4)——HDFS集群扩容及缩容
1.添加白名单、黑名单设置白名单和黑名单后,只有白名单上的主机节点允许访问 NameNode;不在白名单上的主机节点都会从集群中退出。在黑名单上的主机节点也会从集群中退出,黑名单一般用来退役主机节点。同一个主机节点不能同时配置在白名单和黑名单中* 步骤(1)在目录/opt/module/hadoop-3.1.3/etc/hadoop下,创建文件 whitelist 和 blacklist(文件名称可自定义)。(2)在文件 whitelist 和 blacklist 中分别写入想要添加到白名单或黑.原创 2021-08-11 19:17:08 · 562 阅读 · 0 评论 -
Hadoop调优手册(5)——HDFS存储优化
纠删码异构存储(冷热数据分离)原创 2021-08-17 19:34:35 · 1223 阅读 · 0 评论 -
Hadoop调优手册(6)——HDFS故障排除
1.NameNode故障处理* NameNode进程挂掉如果只是 NameNode 进程挂掉了,那么执行以下命令重启即可。hdfs --daemon start namenode* NameNode进程挂掉且数据被删除如果 NameNode 的数据不小心被删除了,那么可以把 SecondaryNameNode 中的数据拷贝到 NameNode 中,并重启 NameNode 进程。注意:SecondaryNameNode 不是 NameNode 的备份,SecondaryNameNode 中的原创 2021-08-17 19:34:58 · 354 阅读 · 0 评论 -
Hadoop调优手册(7)——小文件优化方法
4.小文件归档* HDFS存储小文件的弊端每个文件均按块存储,每个块的元数据存储在 NameNode 的内存中,因此 HDFS 存储小文件会非常低效。因为大量的小文件会占用 NameNode 中的大部分内存。但注意,存储小文件所需要的磁盘容量和数据块的大小无关。例如,一个 1MB 的文件设置为 128MB 的块存储,实际使用的是 1MB 的磁盘空间,而不是 128MB。* 解决存储小文件的弊端HDFS归档文件,是一个更高效的文件存档工具,它将文件存入 HDFS 块,在减少 NameNode 内存使.原创 2021-08-17 19:35:17 · 430 阅读 · 0 评论