Linux环境下Hadoop 2.7.7安装和样例运行
Hadoop 2.7.7单机模式安装
查看jdk版本
java -version
在Hadoop网站上下载hadoop-2.7.7.tar.gz压缩包,解压到/usr/local/目录下
sudo tar -zxf hadoop-2.7.7.tar.gz -C /usr/local/
将Hadoop解压出的文件夹改名成hadoop:
sudo mv hadoop-2.7.7 hadoop
使用以下命令查看hadoop版本,若出现则单机模式已安装成功:
cd /usr/local/hadoop
./bin/hadoop version
Hadoop 2.7.7伪分布式配置
Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中.
需要修改2个配置文件 core-site.xml 和 hdfs-site.xml
core-site.xml用于配置hdfs端口和地址,临时文件存放地址,在该文件中添加如下代码保存并退出:
<configuration>
<property>
//指定执行hadoop时数据存放的目录
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
//指定HDFS中的主节点,namemode地址
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml用于配置HDFS组件属性,副本个数及数据存放的路径,在该文件中添加如下代码,保存并退出:
<configuration>
<property>
//副本个数,伪分布式下设置为1,默认值为3
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
格式化namenode:
hadoop namenode -format
启动hadoop:
cd /usr/local/hadoop
./sbin/start-all.sh
验证各个组件是否启动成功,执行:
jsp
启动成功一共有以下五个进程:
NameNode
DataNode
SecondaryNameNode
ResourceManager
NodeManager
Hadoop运行样例
调用mapreduce示例程序的wordcount命令行程序,完成input目录内所有文件,并将结果输出到新的output目录,并显示程序输出结果:
cd /usr/local/hadoop
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount input output
./bin/hdfs dfs -cat output/*