Hadoop伪分布式配置
1.配置jdk
1.1卸载原有的jdk
进入root用户,在命令行输入yum remove Java
1.2解压jdk-8u65-linux-x64.tar.gz文件到app文件夹下
mkdir app(创建app文件夹)
cd app
tar -zxvf jdk-8u65-linux-x64.tar.gz
2.配置环境变量
2.1进入root用户
vi /etc/profile
在此文件的最后,输入:
JAVA_HOME=/home/single/app/jdk1.8.0_65
export PATH=$PATH:$JAVA_HOME/bin
键入:wq 退出
2.2切换到普通用户,让修改过的环境文件生效,执行source命令
source /etc/profile
3.配置IP地址的映射
Root用户修改hosts文件
vi /etc/hosts(本机IP 用户名)
192.168.29.9 master
检查:
ping master
如果能ping通则配置正确
Linux里ping会一直输出结果,按下ctrl+c中断
4.伪分布式配置
4.1解压Hadoop压缩文件
tar -zxvf hadoop-2.6.0.tar.gz
解压后,bin目录存放一些命令,etc目录存放一些配置文件
4.2修改配置文件 在/home/single/app/hadoop-2.6.0/etc/hadoop目录
cd /home/single/app/hadoop-2.6.0/etc/hadoop
1>vi hadoop-env.sh
找到JAVA_HOME这一行修改
export JAVA_HOME=/home/single/app/jdk1.8.0_65
2> vi core-site.xml
(里面的master是主机名)
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> </configuration> |
3> vi hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> |
4>复制文件 cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> |
5> vi yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> |
4.3格式化HDFS(只执行一次,下次在启动hadoop的时候就不用格式化了)
在hadoop解压目录执行:bin/hdfs namenode -format
cd /home/hadoop/hadoop-2.6.0
bin/hdfs namenode -format
5.启动hadoop服务
在hadoop解压目录执行:sbin/start-all.sh
启动的过程中需要多次输入yes和密码
启动完成后在命令行输入jps(共6个)
[single@master hadoop-2.4.1]$ jps 4144 SecondaryNameNode 3883 NameNode 4275 ResourceManager 3999 DataNode 4651 Jps 4561 NodeManager |
至此hadoop启动成功
6.检验
在hadoop解压目录输入一下命令
1. 查看文件
bin/hadoop fs -ls /
2. 创建目录
bin/hadoop fs -mkdir /hello
3. 把本地文件放入hdfs
bin/hadoop fs -put 本地文件路径 hdfs路径
如 bin/hadoop fs -put etc/hadoop/core-site.xml /hello
4. 查看hdfs里某个文件的 内容
bin/hadoop fs -cat /hello/core-site.xml
能够查看则说明配置成功
7.关闭hadoop
sbin/stop-all.sh