hadoop
文章平均质量分 78
蚂蚁冲锋队
知识取之于网络用之于网路
展开
-
ssh无密登陆localhost
1、安装sshsudo apt-get ssh install2、生成密钥ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa3、将公钥放入认证文件cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys4、修改文件权限sudo chmod 700 ~/.sshsudo chmod 600 ~/.原创 2017-06-01 14:20:30 · 352 阅读 · 0 评论 -
mapreduce提交job源码分析
//从job提交开始job.waitForCompletion(true); waitForCompletion分析:/*** 提交代码到集群并返回结果* @param verbose 是否打印过程信息* @return true 成功返回true* @throws IOException thrown if the communication with the原创 2017-07-27 11:20:00 · 418 阅读 · 0 评论 -
MRUnit使用实例
下面简单介绍MRUnit的使用方法1、下载http://archive.apache.org/dist/mrunit/mrunit-1.0.0/本人下载:apache-mrunit-1.0.0-hadoop2-bin.tar.gz2、安装tar -axvf apache-mrunit-1.0.0-hadoop2-bin.tar.gz -C 指定的路径将lib下除了commo原创 2017-08-31 13:30:34 · 306 阅读 · 0 评论 -
hadoop集群搭建详述
1、集群搭建策略主机名 IP安装的软件 运行的进程master 192.168.0.7 jdk、hadoop NameNode、DFSZKFailoverControllermaster2 192.168.0.10 jdk、hadoop NameNode、DFSZKFailoverContro原创 2017-08-04 23:16:59 · 524 阅读 · 0 评论 -
Hadoop完全分布配置过程
准备工作: JDK1.8.x hadoop2.7.2eclipse虚拟机:Ubuntu14.04 master:namenode、secondaryNamenode slave1:datanode slave2:datanode slave3:d原创 2017-06-10 22:39:28 · 1008 阅读 · 0 评论 -
hadoop配置及测试中错误归纳
1、util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable环境变量配置出错.bashrc末尾添加export JAVA_HOME=/home/will/jdk/jdk1.8export HA原创 2017-06-02 23:40:35 · 428 阅读 · 0 评论 -
hadoop运行WordCount.jar
配置好eclipse+hadoop开发环境后,接下来建立Map/Reduce工程,以wordCount为例功能:统计文件中每个单词出现的次数并输出到指定的文件中1、建立工程在ubuntu中开启eclipse(eclipse中配置hadoop请参考 http://blog.csdn.net/baidu_26611019/article/details/72848533)file->原创 2017-06-02 23:35:29 · 1455 阅读 · 0 评论 -
eclipse+hadoop环境配置
1、参看linux位数getconf LONG_BIT2、安装hadoop我在ubuntu虚拟机上安装的hadoop,通过文件共享的方式将hadoop解压到虚拟机中的目录/solf/hadoop/并将hadoop配置成伪分布模式(请查看我的另一篇博文"配置hadoop伪分布模式“http://blog.csdn.net/baidu_26611019/article/原创 2017-06-02 23:11:19 · 314 阅读 · 0 评论 -
配置hadoop伪分布模式
1、安装JDK建议使用JDK1.8版本2、安装hadoophadoop-2.7.2.tar.gz我在ubuntu虚拟机上安装的hadoop,通过文件共享的方式将hadoop解压到虚拟机中的目录/solf/hadoop/3、配置环境变量配置环境变量可以选择如下三个文件(1)主目录下 ~/.bashrc 指令 sudo gedit ~/.bashrc 配置如下:原创 2017-06-02 22:56:42 · 728 阅读 · 0 评论 -
hadoop之最大气温
hadoop权威指南第8章第2小结介绍了通过MR求最大气温的例子。我做了简单修改后代码如下:输入1995 101996 101995 51999 201999 101996 3期望输出:1995 101996 101999 20//自定义类InitPair public class InitPair implements Writabl原创 2017-09-10 23:22:53 · 477 阅读 · 0 评论