漫天雪_昆仑巅

一柄剑,三生缘,步履踏遍尘世劫

Hadoop伪分布模式配置

    Hadoop共有三种部署方式:本地模式,伪分布模式及集群模式;本次安装配置以伪分布模式为主,即在一台服务器上运行Hadoop(如果是分布式模式,则首先要配置Master主节点,其次配置Slave从节点)。以下说明如无特殊说明,默认使用root用户登录主节点,进行以下的一系列配置。

1、安装配置JDK
并配置环境变量,此处省略...

2、 SSH(Secure Shell)的免密码登录
[root@VM_0_3_centos ~]# ssh-keygen -t rsa
[root@VM_0_3_centos ~]# ls -a
.   .bash_history  .bash_profile  .cache   .cshrc             .pip  .pydistutils.cfg  .tcshrc
..  .bash_logout   .bashrc        .config  .oracle_jre_usage  .pki  .ssh              .viminfo
执行产生密钥命令:位于用户目录下的.ssh文件中(.ssh为隐藏文件,可以通过ls –a查看)

进入.ssh目录,拷贝验证文件:cp id_rsa.pub authorized_keys
[root@VM_0_3_centos ~]# cd .ssh/
[root@VM_0_3_centos .ssh]# ls
authorized_keys  id_rsa  id_rsa.pub  known_hosts
[root@VM_0_3_centos .ssh]# cp id_rsa.pub authorized_keys
cp: overwrite ‘authorized_keys’? y
验证:ssh localhost
[root@VM_0_3_centos .ssh]# ssh localhost
Last login: Mon Jun 11 10:49:26 2018 from 59.41.72.243

3、配置Hadoop相关环境变量:vi /etc/profile,

在其中增加一行:

export JAVA_HOME=/usr/software/java/jdk8
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/home/svr/deploy/service/hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
生效环境变量:source /etc/profile
[root@VM_0_3_centos .ssh]# source /etc/profile

4、修改Hadoop的配置文件,它们位于$HADOOP_HOME/conf目录下。
/home/svr/deploy/service/hadoop/etc/hadoop
分别修改四个配置文件:
hadoop-env.sh、
core-site.xml、
hdfs-site.xml、
mapred-site.xml;

具体下修改内容如下:
1)hadoop-env.sh
export JAVA_HOME=/usr/software/java/jdk8
如果虚拟机内存低于1G,还需要修改HADOOP_HEAPSIZE(默认为1000)的值:
export HADOOP_HEAPSIZE=100

2)core-site.xml
在configuration中增加以下内容(其中的127.0.0.1为默认本机IP):
<property>
    <name>fs.default.name</name>
  <value>hdfs://127.0.0.1:9000</value>
  <description>change your own hostname</description>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/home/svr/deploy/service/tmp</value>
</property>
3)hdfs-site.xml
在configuration中增加以下内容:
<property>
 <name>dfs.replication</name>
 <value>1</value>
</property>
<property>
 <name>dfs.permissions</name>
 <value>false</value>
</property>
4)mapred-site.xml
重命名:mv mapred-site.xml.template  mapred-site.xml
修改文件:vi mapred-site.xml
在configuration中增加以下内容(其中的hadoop-master为你配置的主机名):
<property>
  <name>mapred.job.tracker</name>
  <value>127.0.0.1:9001</value>
  <description>change your own hostname</description>
</property>
5、执行命令对Hadoop进行初始格式化:hadoop namenode -format
进入bin目录
[root@VM_0_3_centos bin]# cd /home/svr/deploy/service/hadoop/bin
[root@VM_0_3_centos bin]# hadoop namenode -format
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.
...
18/06/12 16:47:22 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at VM_0_3_centos/127.0.0.1
************************************************************/
6、执行命令启动Hadoop:start-all.sh(一次性启动所有进程)
进入启动目录:
[root@VM_0_3_centos ~]# cd /home/svr/deploy/service/hadoop/sbin
[root@VM_0_3_centos sbin]# ./start-all.sh
[root@VM_0_3_centos hadoop]# jps
23488 NameNode
23746 SecondaryNameNode
24100 Jps
23959 ResourceManager
24057 NodeManager
9068 Bootstrap
7、启动完成后可以查看管理界面:
http://118.24.29.250:50070/dfshealth.html#tab-overview


http://118.24.29.250:8088/cluster

















阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/vtopqx/article/details/80677832
所属专栏: Hadoop研究
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭