首先安装JDK,安装方法请查看本人之前的博客。
然后是设置SSH无密码登陆
- 安装SSH
执行命令
sudo apt-get install ssh
过程中需要输入“Y”。
- 安装rsync
执行命令
sudo apt-get install rsync
产生SSH Key,执行命令
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
查看产生的SSH Key,执行命令
ll ~/.ssh
将产生的Key放置到许可证文件中,执行命令
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
- 安装Hadoop
在官网上下载hadoop2.6.0并解压压缩包,执行命令
sudo tar -zxvf hadoop-2.6.0.tar.gz
并移动解压后的文件,执行命令
sudo mv hadoop-2.6.0 /usr/local/hadoop
设置hadoop环境变量,执行命令
sudo gedit ~/.bashrc
在打开的文档最后加上以下内容
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH
保存后退出,执行命令
source ~/.bashrc
使修改生效。
- 修改hadoop配置设置文件
修改hadoop-env.sh,执行命令
sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh
输入下列内容:
修改core-site.xml,执行命令
sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml
输入下列内容
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
修改yarn-site.xml,执行命令
sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml
输入下列内容
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
修改mapred-site.xml,执行命令:
sudo cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml
sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml
输入下列内容:
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
修改hdfs-site.xml,执行命令
sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml
输入下列内容
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
</property>
- 建立与格式化HDFS 目录
创建namenode和datanode数据存储目录,执行命令
sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode
sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
sudo chown hduser:hduser -R /usr/local/hadoop
格式化namenode,执行命令
hadoop namenode -format
- 启动hadoop
执行命令
start-all.sh
第一次运行时中间需要输入两次“yes”
- 查看结果
执行命令
jps
PS:另外,可通过ubuntu系统的浏览器
开启Hadoop ResourceManager Web接口
http://localhost:8088/
可用于查看当前Hadoop的状态:Node节点、应用程序、进程运行状态
NameNode HDFS Web接口
http://localhost:50070/
可用于检查当前HDFS与DataNode的运行情况