Hadoop2.6.0单机版安装配置(Linux)

安装Hadoop要在java环境下才能操作,这里不再细说。

有了java环境,先去官网选择2.6.0Linux版本下载下来,然后解压到/usr目录下,配置好Hadoop的环境变量,PATH要配置bin目录和sbin两个目录,然后source /etc/profile;这里Hadoop安装配置第一步就完成了。

接下来就是配置Hadoop相关的参数信息:

进入$HADOOP_HOME/etc/hadoop/目录,hadoop需要配置一下几个文件: 

hadoop-2.6.0/etc/hadoop/hadoop-env.sh

hadoop-2.6.0/etc/hadoop/core-site.xml

hadoop-2.6.0/etc/hadoop/hdfs-site.xml

hadoop-2.6.0/etc/hadoop/mapred-site.xml 

hadoop-2.6.0/etc/hadoop/yarn-site.xml

hadoop-2.6.0/etc/hadoop/yarn-env.sh  

 

1、hadoop-2.6.0/etc/hadoop/hadoop-env.sh

修改该文件中的java环境,将java环境路径加进去

export JAVA_HOME=/usr/java/jdk1.8.0_162

 

2、hadoop-2.6.0/etc/hadoop/core-site.xml

 

<configuration>

<!-- 指定HDFS老大(namenode)的通信地址 -->

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</property>

<!-- 指定hadoop运行时产生文件的存储路径 -->

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/hadoop/tmp</value>

</property>

</configuration>

 

 

3、hadoop-2.6.0/etc/hadoop/hdfs-site.xml

<configuration>

<property>

<name>dfs.name.dir</name>

<value>/usr/hadoop/hdfs/name</value>

<description>namenode上存储hdfs名字空间元数据 </description>

</property>

<property>

<name>dfs.data.dir</name>

<value>/usr/hadoop/hdfs/data</value>

<description>datanode上数据块的物理存储位置</description>

</property>

<!-- 设置hdfs副本数量 -->

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

第一次启动hdfs需要格式化

在hadoop文件夹下执行 ./bin/hdfs namenode -format命令进行格式化

hdfs启动:start-dfs.sh          hdfs停止命令:stop-dfs.sh

 

4、hadoop-2.6.0/etc/hadoop/mapred-site.xml

配置/usr/hadoop/etc/hadoop/mapred-site.xml 。这里注意一下,hadoop里面默认是mapred-site.xml.template 文件,如果配置yarn,把mapred-site.xml.template   重命名为mapred-site.xml :mv mapred-site.xml.template mapred-site.xml

然后配置confiuration标签

 

<configuration>

<!-- 通知框架MR使用YARN -->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

 

5、hadoop-2.6.0/etc/hadoop/yarn-site.xml

配置hadoop-2.6.0/etc/hadoop/yarn-site.xml:

<configuration>

<!-- reducer取数据的方式是mapreduce_shuffle -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

 

接下来启动yarn:start-yarn.sh 停止yarn:stop-yarn.sh

启动dfs:start-dfs.sh 停止dfs:stop-dfs.sh

命令行输入jps查看是否有ResourceManager、 NodeManager的进程(yarn的进程),和NameNode、DataNode进程(hdfs的进程);如果有就说明Hadoop配置好了

浏览器输入:Hadoop的地址:8088 查看Hadoop的mapreduce任务

Hadoop的地址:50070 查看集群、节点、状态等数据

 

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值