![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
布衣清水
这个作者很懒,什么都没留下…
展开
-
使用IDEA+Maven开发wordCount案例【MapReduce编程实现】
这是学习MR编程的一个典型模型,这里分享一下。 wordCount需求是统计文件中每个单词出现的次数。 处理过程中主要是将作业拆分成Map阶段(Mapper tasks)和Reduce阶段(Reducer tasks),数据转换过程如下:(input) <k1, v1> -> map -> <k2, v2> -> combine -> &...原创 2018-05-02 19:35:26 · 2127 阅读 · 0 评论 -
Java API操作HDFS文件,利用Junit单元测试
操作HDFS文件,约有以下两种方法 (1)shell,这个相信大家基本都会; (2)Java API 的操作 这次主要记录下Java API操作HDFS文件的相关测试环境:IDEA+JDK10.0.1,虚拟机centos 版本:hadoop2.6.0-cdh5.7.0, junit 4.11,maven3.0事先要在pom.xml中添加相关依赖,并指定一个仓库测试代码如下:...原创 2018-04-29 15:30:57 · 888 阅读 · 0 评论