Ubuntu搭配hadoop单机环境

最新推荐文章于 2021-06-03 11:55:11 发布

cjl3011

最新推荐文章于 2021-06-03 11:55:11 发布

阅读量809

点赞数

分类专栏： Linux 文章标签： ubuntu 技术

本文链接：https://blog.csdn.net/fengbandahe/article/details/19759881

版权

Linux 专栏收录该内容

12 篇文章 0 订阅

订阅专栏

本文详述了在Ubuntu系统下如何搭建Hadoop单机环境，包括创建hadoop用户组和用户，安装JDK，设置SSH无密码登录，安装Hadoop并配置环境，最后启动和检查Hadoop服务的过程。

摘要由CSDN通过智能技术生成

一.首先有个大坑，官网的hadoop是32位库的，若按照网上的教程装到最后会发现系统load不了本地的library。。当然教程都是下载hadoop源码手动编译，我稍微偷了下懒，在csdn上找到了大神编译好的文件 http://download.csdn.net/detail/yunhaibin/6778069

二.在Ubuntu下创建hadoop用户组和用户

1.创建hadoop用户组

sudo addgroup hadoop

2.创建hadoop用户

sudo adduser -ingroup hadoop hadoop

3. 给hadoop用户添加权限，打开/etc/sudoers文件

sudo vim /etc/sudoers

按回车键后就会打开/etc/sudoers文件了，给hadoop用户赋予root用户同样的权限:

在root ALL=(ALL:ALL) ALL下添加hadoop ALL=(ALL:ALL) ALL

hadoop ALL=(ALL:ALL) ALL

三.安装JDK，省，注：一定要装SUN的，装openJDK会出莫名其妙的问题

附:删除掉已经安装的openjdk

sudo apt-get purge openjdk*

配置Java环境变量

sudo vim /etc/environment

在其中添加如下两行：

JAVA_HOME=/usr/lib/jvm/java-7-sun
CLASSPATH=.:/usr/lib/jvm/java-7-sun/lib

java -version查看不出错说明成功

四.安装ssh服务

这里的ssh和三大框架:spring,struts,hibernate没有什么关系，ssh可以实现远程登录和管理，具体可以参考其他相关资料

安装openssh-server

sudo apt-getinstall ssh openssh-server

五.建立ssh无密码登录本机

首先要转换成hadoop用户，执行以下命令：

su - hadoop

ssh生成密钥有rsa和dsa两种生成方式，默认情况下采用rsa方式

1.创建ssh-key，这里我们采用rsa方式

ssh-keygen -t rsa -P""

（注：回车后会在~/.ssh/下生成两个文件：id_rsa和id_rsa.pub这两个文件是成对出现的）

2.进入~/.ssh/目录下，将id_rsa.pub追加到authorized_keys授权文件中，开始是没有authorized_keys文件的

cd ~/.ssh

cat id_rsa.pub >> authorized_keys 完成后就可以无密码登录本机了

3.登录localhost

ssh localhost

( 注：当ssh远程登录到其它机器后，现在你控制的是远程的机器，需要执行退出命令才能重新控制本地主机)

4.执行退出命令

exit

六.安装hadoop

1.将下好的2.2.0包解压至/opt，重命名为hadoop，将该hadoop文件夹的属主用户设为hadoop

sudo chown -R hadoop:hadoop hadoop

打开hadoop/conf/hadoop-env.sh文件

sudo vim /opt/hadoop/etc/hadoop/hadoop-env.sh

配置hadoop-env.sh（找到#export JAVA_HOME=...,去掉#，然后加上本机jdk的路径）

export JAVA_HOME=/usr/lib/jvm/java-7-sun

sudo vim /opt/hadoop/etc/hadoop/yarn-env.sh

加入export JAVA_HOME=/usr/lib/jvm/java-7-sun

sudo gvim .bashrc

也加上export JAVA_HOME=/usr/lib/jvm/java-7-sun并source .bashrc

2.切回管理员帐号 su - xxx

3.sudo gvim /etc/profile

改为:

export JAVA_HOME=/usr/lib/jvm/java-7-sun
export HADOOP_INSTALL=/opt/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

改完后source /etc/profile

4.打开/opt/hadoop/etc/hadoop/core-site.xml文件

编辑如下：property后面需要手工敲

<?xml version="1.0"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
                                                                                                               
<!-- Put site-specific property overrides in this file. -->
                                                                                                               
<configuration> 
<property>   
  <name>fs.default.name</name>   
  <value>hdfs://localhost:9000</value>    
 </property>   
</configuration>

5.打开/opt/hadoop/etc/hadoop/mapred-site.xml文件

编辑如下property后面需要手工敲：

<?xml version="1.0"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
                                                                                                            
<!-- Put site-specific property overrides in this file. -->
                                                                                                            
    <configuration>   
     <property>    
      <name>mapred.job.tracker</name>   
      <value>localhost:9001</value>    
     </property>   
    </configuration>

6.打开/opt/hadoop/etc/hadoop/hdfs-site.xml文件

<configuration>
    <property>
        <name>dfs.name.dir</name>
        <value>/opt/server/name</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/opt/server/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
</configuration>

7.因为我配的是单机版环境，在/opt/hadoop/etc/hadoop下建立masters的文档，内容为localhost，检查slavers里也是localhost

七.在单机上运行hadoop

sudo su

进入hadoop目录下，格式化hdfs文件系统，初次运行hadoop时一定要有该操作

cd /opt/hadoop

bin/hadoop namenode -format

启动sbin/start-dfs.sh

启动sbin/start-yarn.sh

检测hadoop是否启动成功

jps

如果有Namenode，SecondaryNameNode，TaskTracker，DataNode，JobTracker五个进程，就说明你的hadoop单机版环境配置好了

然后可以通过浏览器查看JobTracker，使用http://localhost:50030/