Hadoop
牛人笔记
让大模型更“牛”,在这里,阿牛带你解锁AI世界的无限可能。从大模型开发到算法优化,技术知识和开发经验一手掌握。轻松学技术,专业不“牛”不上天,赶快加入我们,一起让人工智能更聪明!
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
2015.07.20MapReducer源码解析(笔记)
MapReducer源码解析(笔记) 第一步,读取数据源,将每一行内容解析成一个个键值对,每个键值对供map函数定义一次,数据源由FileInputFormat:指定的,程序就能从地址读取记录,读取的记录每一行内容是如何转换成一个个键值对?Mapper函数是如何调用键值对?这是由InputFormatClass完成的,它在我们的例子中的具体实现类是TextInputFormat(Tex原创 2017-03-24 18:49:48 · 335 阅读 · 0 评论 -
HDFS入门(1)
2015.07.12笔记1.HDFSDistributed File System(操作系统实现人机交互,最重要的功能是文件管理,使用文件管理系统,windows、Linux文件管理系统有共性:用户可创建文件/夹,删除,修改权限,修改源数据信息(创建、修改、访问时间等)。在操作系统中的文件或者数据的管理是通过文件系统实现的,文件系统是操作系统实现文件管理的一个重要的组成部分,操作系统将文件原创 2017-03-24 18:49:56 · 476 阅读 · 0 评论 -
HDFS-遇到问题解决总结
问题:因为ambari重启HDFS有某个节点失败导致,后续创建目录报错根本原因:name node处于safe modeCaused by: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.RetriableException): org.apache.hadoop.hdf原创 2018-02-03 18:12:18 · 2435 阅读 · 0 评论
分享