![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 71
_Karl
这个作者很懒,什么都没留下…
展开
-
hadoop入门:在windows上用Eclipse编写程序
前提是已经在linux上装好了Hadoop并且在windows上安装了Eclipse环境虽然有许多人推崇vim编程,但是本人并不习惯vim编程,本人还是比较在window下使用eclipse编程。另外由于本人linux安装的都是最小化安装,没有图形界面,因此使用windows的eclipse编写mapreduce程序远程发送至linux的hadoop下运行。1. 在windows上搭建Hado...转载 2018-05-26 16:54:14 · 776 阅读 · 0 评论 -
运行hadoop指令之——WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform....
配置完hadoop启动的时候出现如下警告信息但是会正常显示结果:[hadoop@min1 ~]$ hadoop fs -ls /18/05/26 19:14:46 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes whe...原创 2018-05-26 20:49:13 · 2005 阅读 · 0 评论 -
Hadoop学习之----MapReduce执行流程小结
1.在Mapper类中,文件的每一行都会调用重写的方法, 但是方法外面的只会执行一次, 所以可以把获取配置对象和泛型对象写在重写方法的外面, 节约内存2.在Reducer类中,从Mapper类来的每一个K-V都会调用重写的方法, 但是方法外面的只会执行一次.PS: 不是每次都执行一次Mapper类和Reducer类举例说明 :(例子中的注释会说的很明白!)求学生的平均成绩:名字 语文 ...原创 2018-06-03 13:51:25 · 247 阅读 · 0 评论 -
MapReduce程序运行流程
为了方便理解,先用作图的方式进行阐述: MapReduce程序的执行过程分为两个阶段:Mapper阶段和Reducer阶段。其中Mapper阶段可以分为6个步骤:第一阶段:先将HDFS中的输入文件file按照一定的标准进行切片,默认切片的类为FileInputFormat,通过切片输入文件将会变成split1、split2、split3……;随后对输入切片split按照一定的规则解析...转载 2018-06-12 09:23:44 · 436 阅读 · 0 评论 -
maven之----setting.xml的相关配置及仓库默认不支持cdh
1. maven的配置文件settings.xml存在于两个地方:1.安装的地方:${M2_HOME}/conf/settings.xml2.用户的目录:${user.home}/.m2/settings.xml前者又被叫做全局配置,对操作系统的所有使用者生效;后者被称为用户配置,只对当前操作系统的使用者生效。如果两者都存在,它们的内容将被合并,并且用户范围的settings.xml会...原创 2018-08-10 09:49:37 · 1929 阅读 · 1 评论