MR
.
Michael-DM
普通大二学生,博客用于学习和回顾,如有错误请私信帮助改正,谢谢
展开
-
使用Java API操作HDFS文件系统
使用Java API操作HDFS文件系统 关键点: 1)创建Configuration 2)获取FileSystem 3)…就是你的HDFS API的操作 首先创建FileSystem 构造一个访问指定HDFS系统的客户端对象 第一个参数:HDFS的URI 第二个参数:客户端指定的配置参数 第三个参数:客户端的身份,说白了就是用户名 FileSystemfi...原创 2020-03-19 23:44:34 · 955 阅读 · 0 评论 -
MapReduce实现WordCount
MapReduce实现WordCount 1.实现mapper KEYIN: Map任务读数据的key类型,offset,是每行数据起始位置的偏移量,Long VALUEIN:Map任务读数据的value类型,其实就是一行行的字符串,String KEYOUT: map方法自定义实现输出的key的类型,String VALUEOUT: map方法自定义实现输出的value的类型,Integer...原创 2020-03-20 00:11:52 · 218 阅读 · 0 评论