Hadoop2.6.4伪分布式安装

单机模式

1、配置HADOOP_HOME

修改文件/etc/profile exportHADOOP_HOME=/opt/software/hadoop-2.6.4 source/etc/profile

2、运行MapReduce程序

--参考官方文档 $ cd /opt/software/hadoop-2.6.4 $ mkdir input $ cp etc/hadoop/*.xml input $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep input output 'dfs[a-z.]+' $ cat output/* --统计以dfs开头的单词个数

伪分布式

1、创建hadoop用户

--用root用户操作 useradd-d /home/hadoop -m hadoop passwd hadoop adduser hadoop sudo

2、安装SSH、配置SSH无密码登陆

apt-get install openssh-server

3、测试ssh连接到localhost

ssh localhost --如果没有配置过，会显示拒绝连接

4、配置ssh面登陆

--以hadoop用户操作 --生成密钥 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa --复制为私钥 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys --该文件权限644 --如果还是拒绝连接，查看ssh服务是否启动，用root用户启动 /etc/init.d/ssh start --此外检查一下防火墙

5、配置hadoop配置文件

--配置etc/hadoop/hadoop-env.sh: 修改JAVA_HOME路径 可以修改日志路径 --配置etc/hadoop/core-site.xml: <configuration> <!-- 指定NameNode主机名与端口号 --> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hdfs</value> </property> </configuration> --配置etc/hadoop/hdfs-site.xml: <configuration> <!--复制份数 --> <property> <name>dfs.replication</name> <value>1</value> </property> <!-- 是否进行权限检查 --> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration> --配置etc/hadoop/mapred-site.xml: <configuration> <!--指定JobTracker主机与端口号--> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration>

6、启动hadoop

--格式化hadoop $ bin/hdfs namenode -format --启动dfs $ sbin/start-dfs.sh --首先启动NameNode，在启动DataNode，在启动SecondaryNameNode $HADOOP_LOG_DIR directory(defaults to $HADOOP_HOME/logs) http://localhost:50070/

7、测试hadoop

--在hadoop中创建目录 $ bin/hdfs dfs -mkdir /test $ bin/hdfs dfs -mkdir /test/input --上传文件 $ bin/hdfs dfs -put etc/hadoop/* /test/input $ bin/hdfs dfs -ls /test/input --运行一个MapReduce $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep /test/input /test/output 'dfs[a-z.]+' --查看结果 $ bin/hdfs dfs -cat /test/output/* $ bin/hdfs dfs -get /test/output/* output

8、YARN配置

--配置etc/hadoop/mapred-site.xml: <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> --配置etc/hadoop/yarn-site.xml: <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> --启动YARN $ sbin/start-yarn.sh 首先启动ResourceManager，在启动NodeManager --查看结果 http://localhost:8088/