安装jdk
1)解压
tar -zxvf ./jdk-8u151-linux-x64.tar.gz -C /usr/local
解压在c盘的usr/local下
2)配置环境变量
vi /etc/profile 在文件后面添加
##java config
export JAVA_HOME=/usr/local/jdk1.8.0_151
export JRE_HOME=/usr/local/jdk1.8.0_151/jre
export PATH=$PATH:/usr/local/jdk1.8.0_151/bin
export
CLASSPATH=./:/usr/local/jdk1.8.0_151/lib:/usr/local/jdk1.8.0_151/jre/lib
保存退出 重启配置 source /etc/profile
3)查看jdk
cd /usr/local 或 cd jdk1.8.0_151 ll
4)检测jdk
javac或java -version‑
1.安装hadoop
1)解压 tar
-zxvf ./hadoop-2.8.4.tar.gz -C /usr/local 解压在c盘的usr/local下
2)配置环境变量
vi /etc/profile 在文件后面添加
##hadoop config
export HADOOP_HOME=/usr/local/hadoop-2.8.4
export PATH= P A T H : PATH: PATH:JAVA_HOME/bin: H A D O O P H O M E / b i n : HADOOP_HOME/bin: HADOOPHOME/bin:HADOOP_HOME/sbin:
3)配置让hadoop知道jdk在哪 vi
/usr/local/hadoop-2.8.4/etc/hadoop/hadoop-env.sh
找到export JAVA_HOME 改成 export JAVA_HOME=/usr/local/jdk1.8.0_151
保存退出 重新启动
source /usr/local/hadoop-2.8.4/etc/hadoop/hadoop-env.sh
4)测试hadoop
which hadoop 或 hadoop version 或 hadoop
2.修改/usr/local/hadoop-2.8.4/etc/hadoop/core-site.xml
文件,
fs.defaultFS
hdfs://localhost:9000
hadoop.tmp.dir
/usr/hadoop/tmp
fs.defaultFS直接用localhost就行,如果重命名了主机名,也可以用重命名的。
3.修改/usr/local/hadoop-2.8.4/etc/hadoop/hdfs-site.xml
dfs.name.dir
/usr/hadoop/hdfs/name
namenode上存储hdfs名字空间元数据
dfs.data.dir
/usr/hadoop/hdfs/data
datanode上数据块的物理存储位置
dfs.replication
1
4.SSH免密码登录
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >>
~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
5.hdfs启动与停止
第一次启动hdfs需要格式化,之后启动就不需要的:
cd /usr/local/hadoop-2.8.4
./bin/hdfs namenode -format
启动命令:
./sbin/start-dfs.sh
停止命令:
./sbin/stop-dfs.sh
浏览器输入:http://192.168.56.8:50070 /9870 查看效果:
6.接下来配置yarn文件. 配置/usr/local/hadoop-2.8.4/etc/hadoop/mapred-site.xml 。这里注意一下,hadoop里面默认是mapred-site.xml.template 文件,如果配置yarn,把mapred-site.xml.template 重命名为mapred-site.xml 。如果不启动yarn,把重命名还原。
mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
mapreduce.framework.name
yarn
7.配置/usr/local/hadoop-etc/hadoop/yarn-site.xml文件,
yarn.nodemanager.aux-services
mapreduce_shuffle
8.启动yarn
启动:
cd /usr/local/hadoop-2.8.4
./sbin/start-yarn.sh
停止:
./sbin/stop-yarn.sh
可以用jps命令查看启动了什么进程:
浏览器输入:http://119.29.174.43:8088 (8088是默认端口,如果端口占用,先把占用的端口杀掉 netstat -ano)
这样,dfs和yarn就启动成功了。