一、JAVA环境搭建
见相关文章:http://blog.csdn.net/xiaoql520/article/details/77429283
二、安装ssh-server并实现免密码登录
下载ssh-server
sudo apt-get install openssh-server
启动ssh设置免密码登录
使用如下命令,一直回车,直到生成了rsa
导入authorized_keys
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh localhost
关闭防火墙
ufw disable
三、安装hadoop单机模式和伪分布模式
下载hadoop-2.7.3.tar.gz,解压到/usr/local(单机模式搭建)
sudo tar zxvf hadoop-2.7.3.tar.gz -C /usr/local
切换到/usr/local下,将hadoop-2.7.3重命名为hadoop,并给/usr/local/hadoop设置访问权限。
cd /usr/local
sudo mv hadoop-2.7.3 hadoop
sudo chmod 777 /usr/local/hadoop
sudo vim ~/.bashrc
在文件末尾追加下面内容,然后保存。
#HADOOP VARIABLES START
export JAVA_HOME=/usr/local/jdk1.8.0_131
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END
执行下面命令,使添加的环境变量生效:
source ~/.bashrc
hadoop配置 (伪分布模式搭建)
配置hadoop-env.sh
sudo vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh
# The java implementation to use.
export JAVA_HOME=/usr/local/jdk1.8.0_131
export HADOOP=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin
# export JAVA_HOME=/home/y/libexec/jdk1.6.0/
JAVA_HOME=/usr/local/jdk1.8.0_131
配置core-site.xml,在home目录下创建 /home/lyh/hadoop_tmp目录,然后在core-site.xml中添加下列内容
sudo mkdir /usr/local/hadoop/tmp
sudo vim /usr/local/hadoop/etc/hadoop/core-site.xml
<configuration>
<!-- 指定HDFSnamenode的通信地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://xq:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
配置hdfs-site.xml
<configuration>
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
配置mapred-site.xml
<!-- Site specific YARN configuration properties -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
配置yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>xq:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>xq:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>xq:8031</value>
</property>
</configuration>
关机重启系统。
四、测试Hadoop是否安装并配置成功
验证Hadoop单机模式安装完成
hadoop version
能够显示Hadoop的版本号即可说明单机模式已经配置完成启动hdfs使用为分布模式
格式化namenode
hdfs namenode -format
有 "……has been successfully formatted" 等字样出现即说明格式化成功
启动hdfs
hadoop version
显示进程
jps(应包含6个)
namenode datanode secondarynamenode resourcemanager nodemanager jps
(备注问题)在安装Hadoop过程中进行jps指令后一直没有发现DataNode,是因为多次格式化namenode所致
我们执行文件系统格式化时,会在namenode数据文件夹(即配置文件中dfs.name.dir在本地系统的路径)中保存一个current/VERSION文件,记录namespaceID,标识了所格式化的 namenode的版本。如果我们频繁的格式化namenode,那么datanode中保存(即配置文件中dfs.data.dir在本地系统的路径)的current/VERSION文件只是你第一次格式化时保存的namenode的ID,因此就会造成datanode与namenode之间的id不一致。
解决办法
把配置文件中dfs.data.dir在本地系统的路径下的current/VERSION中的namespaceID改为与namenode一样
在浏览器中输入http://localhost:50070/进行测试
输入 http://localhost:8088/测试伪分布安装配置是否成功
停止hdfs
stop-all.sh
五、运行wordcount
启动hdfs
start-all.sh
查看hdfs底下包含的文件目录在hdfs中创建一个文件目录input,将/usr/local/hadoop/README.txt上传至input中
hdfs dfs -mkdir /input
hadoop fs -put /usr/local/hadoop/README.txt /input
执行以下命令运行wordcount,并将结果输出到output中
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input /output
执行成功后output 目录底下会生成两个文件 _SUCCESS 成功标志的文件,里面没有内容。 一个是 part-r-00000 ,通过以下命令查看执行的结果
hadoop fs -cat /output/part-r-00000
hadoop的一些常用命令
hadoop fs -mkdir /tmp/input 在HDFS上新建文件夹
hadoop fs -put input1.txt /tmp/input 把本地文件input1.txt传到HDFS的/tmp/input目录下
hadoop fs -get input1.txt /tmp/input/input1.txt 把HDFS文件拉到本地
hadoop fs -ls /tmp/output 列出HDFS的某目录
hadoop fs -cat /tmp/ouput/output1.txt 查看HDFS上的文件
hadoop fs -rmr /home/less/hadoop/tmp/output 删除HDFS上的目录
hadoop dfsadmin -report 查看HDFS状态,比如有哪些datanode,每个datanode的情况
hadoop dfsadmin -safemode leave 离开安全模式
hadoop dfsadmin -safemode enter 进入安全模式
参考文章:
http://blog.csdn.net/lyhvoyage/article/details/54411836?utm_source=itdadao&utm_medium=referral
http://www.jb51.net/article/103024.htm
http://blog.csdn.net/qian2729/article/details/39644471