Ubuntu安装配置hadoop

Ubuntu安装配置hadoop

简单介绍：

• 因为hadoop是基于Java开发的，所以虚拟机得有jdk环境（hadoop配置文件hadoop-env.sh需要配置JAVA路径）
• 每次启动hadoop要输入虚拟机密码，我们可以开启ssh服务，设置虚拟机免密登录

1. 安装JAVA-JDK

参考博文

2.安装SSH服务，设置免密登录

2-1：查看是否已经安装好ssh服务，若没有，则使用如下命令进行安装：

apt-get install ssh openssh-server

2-2：使用ssh进行无密码验证登录

• 创建ssh-key，这里我们采用rsa方式，使用如下命令：

ssh-keygen -t rsa -P ""

出现一个图形，出现的图形就是密码

• 将生成的公钥追加到authorized_keys中

cat ~/.ssh/id_rsa.pub >> authorized_keys

• 无密码验证登录

　ssh localhost#切换到虚拟机，无需输入密码

3.安装并配置Hadoop

1. 将hadoop安装包解压在/usr/local目录下

tar -zxvf had*

2. 配置环境变量

vim /etc/profile

加入

export HADOOP_HOME=/usr/local/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin

3. 配置hadoop的一系列文件（3IP，1JAVA）（位置：/usr/local/hadoop-2.7.3/etc/hadoop/）

• core-site.xml---------------------------------------(IP)
• hdfs-site.xml---------------------------------------(IP)
• mapred-site.xml
• yarn-site.xml---------------------------------------(IP)
• hadoop-env.sh-------------------------------------（JAVA_HOME）

3-1: core-site.xml

<property>
    <name>fs.defaultFS</name>
    <!-- 这里填的是你自己的ip，端口默认-->
    <value>hdfs://192.168.139.130:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <!-- 这里填的是你自定义的hadoop工作的目录，端口默认-->
    <value>/usr/local/hadoop-2.7.3/tmp</value>
</property>

<property>
    <name>hadoop.native.lib</name>
    <value>false</value>
    <description>Should native hadoop libraries, if present, be used.
    </description>
</property>

3-2:hdfs-site.xml

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property>
        <name>dfs.secondary.http.address</name>

<!--这里是你自己的ip，端口默认-->
        <value>192.168.139.130:50070</value>
    </property>

3-3:mapred-site.xml

cp mapred-site.xml.template ./mapred-site.xml 配置命名为mapred-site.xml
vim mapred-site.xml

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

3-4:yarn-site.xml

<property>
    <name>yarn.resourcemanager.hostname</name>
    <!-- 自己的ip端口默认 -->
    <value>192.168.139.130</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

3-5: hadoop-env.sh（JAVA_HOME）

export JAVA_HOME=/usr/local/jdk1.8.0_161

4：运行hadoop

1.配置好hadoop后，要初始化HDFS系统,在hadop2.7.1目录下使用如下命令：

bin/hdfs namenode -format

2.启动hadoop

cd sbin
./start-all.sh

3.查看

jps

浏览器访问localhost:50070

4.关闭hadoop

./stop-all.sh