1硬件需求
内存容量:4G以上
硬盘容量:500G以上
CPU :4核以上
2 软件需求
操作系统
方案一:操作系统:Linux,建议ubuntu 16.04
方案二: 操作系统:Windows64位,建议windows7 64位
虚拟机:建议VMware Workstation Pro
其他软件: JAVA:jdk1.7以上,建议1.8版本
Eclipse
Hadoop:建议2.7.4
Hbase:建议1.3版本
3 软件安装
将JAVA、Eclipse、Hadoop、(Hbase可以后期安装)的解压版copy到目录
/home/hadoop/apps
并分别建目录:
/home/hadoop/apps/jdk
/home/hadoop/apps/ Eclipse
/home/hadoop/apps/ Hadoop
/home/hadoop/apps/Hbase
4 操作系统ubuntu 16.04环境变量设置
打开命令行窗口terminal:
快捷键:
Ctrl+Alt+T
编辑用户启动所需文件bashrc
命令
$ gedit ~/.bashrc
内容如下:
export JAVA_HOME=/home/hadoop/apps/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/home/hadoop/apps/hadoop
export PATH=$HADOOP_HOME/bin:$PATH
执行用户启动所需文件bashrc
命令
$source ~/.bashrc
查看
$java –version $hadoop version
5 编辑Hadoop启动所需文件core-site.xml
core-site.xml位置:
home/apps/hadoop/etc/hadoopcore-site.xml增加内容:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop/apps/hadoop/tmp
</value>
<description>
Abase for other temporary directories.
</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
6 编辑Hadoop启动所需文件hdfs-site.xml
hdfs-site.xml位置:home/apps/hadoop/etc/hadoophdfs-site.xml
增加内容:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/apps/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/apps/hadoop/tmp/dfs/data</value>
</property>
</configuration>
7 SSH的安装与配置
关闭防火墙
处理可能出现的异常ssh:connect to host localhost port 22:Connection refused
$sudo ufw disable
安装 openssh-server
$sudo apt-get update
$sudo apt-get install openssh-server
$SSH IP
配置SSH无密码登录
$ssh-keygen -t rsa -P ''
$cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ssh localhost
8 启动Hadoop
格式化namenode
$bin/hadoop namenode -format
启动Hadoop节点
启动 $sbin/start-all.sh
显示 $jps
出现如图所示内容,则说明安装成功!!!