大数据
文章平均质量分 74
向上攀爬的程序员
量变引起质变,个人微信:T_Stone11
展开
-
错误:Unable to load native-hadoop library for your platfor
在CentOS6.4上安装完hadoop2.5以后,使用以下命令: hadoop fs -ls / 提示: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 有个WARN提示had原创 2016-01-23 00:28:15 · 764 阅读 · 0 评论 -
NameNode启动过程
NameNode(NN代指)中存储的HDFS中文件的元信息,是整个文件系统的管理节点,它维护着整个文件系统的目录结构,文件/目录的元信息和每个文件对应的数据块列表。接收用户请求(上传、下载、删除。。。),接收datanode的心跳和块报告。 NN的启动过程: 首先执行NN中的main函数 main函数的主要工作是创建一个NN对象,并通过join方法等待其他线程运行结束。原创 2016-01-30 12:29:52 · 1455 阅读 · 0 评论 -
NameNode启动过程详细剖析
Namenode会将HDFS的文件和目录元数据存储在一个叫fsimage的二进制文件中,每次保存fsimage之后到下次保存之间的所有hdfs操作,将会记录在editlog文件中,当editlog达到一定的大小(bytes,由fs.checkpoint.size参数定义)或从上次保存过后一定时间段过后(sec,由fs.checkpoint.period参数定义),namenode会重新将内存中对整转载 2016-01-30 12:36:27 · 438 阅读 · 0 评论 -
日志聚集相关配置参数
日志聚集相关配置参数: 日志聚集是YARN提供的日志中央化管理功能,它能将运行完成的Container/任务日志上传到HDFS上,从而减轻NodeManager负载,且提供一个中央化存储和分析机制。默认情况下,Container/任务日志存在在各个NodeManager上,如果启用日志聚集功能需要额外的配置。 (1) yarn.log-aggregation-enable 参数解释:是否启用转载 2016-01-31 16:57:08 · 496 阅读 · 0 评论