hadoop
文章平均质量分 80
向上攀爬的程序员
量变引起质变,个人微信:T_Stone11
展开
-
Hadoop入门篇
文章目录一、Hadoop起源二、Hadoop简介2.1、Hadoop的核心思想2.2、Hadoop 四大模块三、HDFS介绍3.1、数据块3.2、namenode和datanode3.3、块缓存3.4、联邦HDFS3.5、HDFS的高可用性四、YARN介绍4.1、YARN的运行机制五、MapReduce介绍5.1、MapReduce编程模型5.2、Hadoop的MapReduce介绍5.3、MapReduce经典实现案例一、Hadoop起源 提到Hadoop原创 2021-03-02 12:50:55 · 390 阅读 · 0 评论 -
错误:Unable to load native-hadoop library for your platfor
在CentOS6.4上安装完hadoop2.5以后,使用以下命令:hadoop fs -ls /提示: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable有个WARN提示had原创 2016-01-23 00:28:15 · 764 阅读 · 0 评论 -
NameNode启动过程
NameNode(NN代指)中存储的HDFS中文件的元信息,是整个文件系统的管理节点,它维护着整个文件系统的目录结构,文件/目录的元信息和每个文件对应的数据块列表。接收用户请求(上传、下载、删除。。。),接收datanode的心跳和块报告。NN的启动过程:首先执行NN中的main函数main函数的主要工作是创建一个NN对象,并通过join方法等待其他线程运行结束。原创 2016-01-30 12:29:52 · 1457 阅读 · 0 评论 -
NameNode启动过程详细剖析
Namenode会将HDFS的文件和目录元数据存储在一个叫fsimage的二进制文件中,每次保存fsimage之后到下次保存之间的所有hdfs操作,将会记录在editlog文件中,当editlog达到一定的大小(bytes,由fs.checkpoint.size参数定义)或从上次保存过后一定时间段过后(sec,由fs.checkpoint.period参数定义),namenode会重新将内存中对整转载 2016-01-30 12:36:27 · 438 阅读 · 0 评论 -
日志聚集相关配置参数
日志聚集相关配置参数:日志聚集是YARN提供的日志中央化管理功能,它能将运行完成的Container/任务日志上传到HDFS上,从而减轻NodeManager负载,且提供一个中央化存储和分析机制。默认情况下,Container/任务日志存在在各个NodeManager上,如果启用日志聚集功能需要额外的配置。(1) yarn.log-aggregation-enable参数解释:是否启用转载 2016-01-31 16:57:08 · 496 阅读 · 0 评论