Hadoop
Stephen Lau
"幸福就在身边."
展开
-
2015.07.20MapReducer源码解析(笔记)
MapReducer源码解析(笔记) 第一步,读取数据源,将每一行内容解析成一个个键值对,每个键值对供map函数定义一次,数据源由FileInputFormat:指定的,程序就能从地址读取记录,读取的记录每一行内容是如何转换成一个个键值对?Mapper函数是如何调用键值对?这是由InputFormatClass完成的,它在我们的例子中的具体实现类是TextInputFormat(Tex原创 2017-03-24 18:49:48 · 279 阅读 · 0 评论 -
HDFS入门(1)
2015.07.12笔记1.HDFSDistributed File System(操作系统实现人机交互,最重要的功能是文件管理,使用文件管理系统,windows、Linux文件管理系统有共性:用户可创建文件/夹,删除,修改权限,修改源数据信息(创建、修改、访问时间等)。在操作系统中的文件或者数据的管理是通过文件系统实现的,文件系统是操作系统实现文件管理的一个重要的组成部分,操作系统将文件原创 2017-03-24 18:49:56 · 369 阅读 · 0 评论 -
HDFS-遇到问题解决总结
问题:因为ambari重启HDFS有某个节点失败导致,后续创建目录报错根本原因:name node处于safe modeCaused by: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.RetriableException): org.apache.hadoop.hdf原创 2018-02-03 18:12:18 · 2312 阅读 · 0 评论