![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 66
守猪_待兔
这个作者很懒,什么都没留下…
展开
-
HDFS故障排除-NameNode故障处理
NameNode故障处理原创 2022-08-20 13:32:52 · 626 阅读 · 1 评论 -
退役服务器
退役服务器步骤(通过黑名单方式)原创 2022-08-19 20:34:41 · 214 阅读 · 0 评论 -
HDFS—集群扩容及缩容
添加白名单、添加新服务器、服务器间数据均衡原创 2022-08-19 19:37:40 · 641 阅读 · 0 评论 -
集群数据均衡之磁盘间数据均衡
生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性)(3)查看当前均衡任务的执行情况。原创 2022-08-18 20:32:24 · 408 阅读 · 0 评论 -
DateNode多目录配置
DateNode多目录配置配置步骤原创 2022-08-18 20:28:33 · 939 阅读 · 0 评论 -
Hadoop序列化
Hadoop序列化原创 2022-08-14 11:53:31 · 236 阅读 · 0 评论 -
Mapreduce编程
1)分布式的运算程序往往需要分成只少2个阶段(2)第一个阶段的MapTask并发实例。完全并行运行,互补相干(3)第二个阶段的ReduceTask并发实例互不相干,但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出。(4)MapReduce编程模型只能包含一个Map阶段和一个Reduce阶段,如果用户的业务逻辑非常复杂,只能多个MapReduce程序,串行运行。...原创 2022-08-13 21:22:02 · 898 阅读 · 0 评论 -
DataNode工作机制
3)心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器,或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳,则认为该节点不可用。(1)一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。(2)DataNode启动后向NameNode注册,通过后,周期性(6小时)的向NameNode上报所有的块信息。DN扫描自己节点块信息列表的时间,默认6小时。...原创 2022-08-12 22:03:32 · 140 阅读 · 0 评论 -
NameNode和SecondaryNameNode
1)第一次启动NameNode格式化后,创建Fsimage和Edits文件。如果不是第一次启动,直接加载编辑日志和镜像文件到内存。(2)客户端对元数据进行增删改的请求。(3)NameNode记录操作日志,更新滚动日志。(4)NameNode在内存中对元数据进行增删改。)Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。(2)Secondary NameNode请求执行CheckPoint。...原创 2022-08-12 20:56:05 · 90 阅读 · 0 评论 -
HDFS的读写流程
HDFS写数据流程,节点距离计算原创 2022-08-19 18:40:48 · 146 阅读 · 0 评论 -
HDFS的API操作
通过客户端上传/下载数据;手动使用io流的方式上传/下载数据原创 2022-08-11 21:32:43 · 229 阅读 · 0 评论 -
HDFS的API操作:准备工作
1.打开idea导入jar包依赖2.将hadoop的windows依赖导入到环境变量中3.双击xxxxx\hadoop-3.1.0\bin\winutils.exe 如果没有报错就是可以使用 如果有报错需要去安装微软运行库(一般前三步即可)4.需要将winutils.exe和hadoop.dll文件放到C:\Windows\System32...原创 2022-08-10 21:30:08 · 690 阅读 · 0 评论 -
HDFS的Shell操作
HDFS的Shell操作原创 2022-08-09 18:34:19 · 114 阅读 · 0 评论 -
HDFS组成架构、文件块大小
HDFS组成架构、文件块大小原创 2022-08-09 16:24:02 · 1264 阅读 · 0 评论 -
Hadoop运行模式:完全分布式运行模式(虚拟机准备、 编写集群分发脚本xsync、SSH无密登录配置、集群配置、群起集群、 配置历史服务器、配置日志的聚集、集群启动/停止方式总结、编写Hadoop)
虚拟机准备、 编写集群分发脚本xsync、SSH无密登录配置、集群配置、群起集群、 配置历史服务器、配置日志的聚集、集群启动/停止方式总结、编写Hadoop集群常用脚本、 常用端口号、集群时间同步...原创 2022-08-09 14:47:50 · 650 阅读 · 0 评论 -
Hadoop运行模式(本地运行模式)
Hadoop运行模式(本地运行模式)原创 2022-08-08 14:11:28 · 535 阅读 · 0 评论 -
Hadoop环境搭建
安装JDK、安装Hadoop、Hadoop目录结构原创 2022-08-08 07:15:35 · 227 阅读 · 0 评论 -
Hadoop组成、HDFS、YARN、 MapReduce、 Hadoop环境搭建
Hadoop组成、HDFS、YARN、 MapReduce、 Hadoop环境搭建、1.最小化安装2.安装一些必要软件3.修改IP为静态IP4.修改主机名和hosts映射文件5.关闭防火墙并且关闭开机自启6.创建普通用户at 并且配置sudo权限7.需要在/opt目录创建 module(存放安装好的软件)software(软件安装包) 8.module/software......原创 2022-08-07 22:52:51 · 339 阅读 · 0 评论