Hadoop伪分布式模式的安装与配置

最新推荐文章于 2024-01-21 22:17:23 发布

酷炜

最新推荐文章于 2024-01-21 22:17:23 发布

阅读量1.2k

点赞数

分类专栏：大数据学习

本文链接：https://blog.csdn.net/qq_42250913/article/details/86183875

版权

大数据学习专栏收录该内容

21 篇文章 0 订阅

订阅专栏

一、伪分布式模式安装介绍

那么伪分布式就是假分布式，假在哪里，假就假在他只有一台机器而不是多台机器来完成一个任务，但是他模拟了分布式的这个过程，所以伪分布式下Hadoop 也就是你在一个机器上配置了hadoop的所有节点。
特点：在单机上，模拟一个分布式的环境，具备Hadoop的所有功能
HDFS：NameNode + DataNode + SecondaryNameNode
Yarn：ResourceManager + NodeManager
虚拟机名字：HP110
用户是：root

二、关闭防火墙

这是CentOS7版本命令：
systemctl status firewalld.service  -->查看防火墙状态
systemctl stop firewalld.service ---> 如果重启，会重启防火墙
systemctl disable firewalld.service ---> 永久关闭防火墙

注意：版本不同关闭防火墙命令也不同，下面是我们使用的CentOS6.5版本命令：
service iptables status -->查看防火墙状态
service iptables stop ---> 如果重启，会重启防火墙
chkconfig iptables off  ---> 永久关闭防火墙

三、修改主机名和IP

 1.查看主机名：hostname
    临时修改hostname 命令是：hostname  名字
    永久修改hostname
    修改配置文件 /etc/sysconfig/network。
    命令：[root@HP110 tools]# vi /etc/hostname
    HP110 #设置的主机名
    或者[root@HP110hadoop]# hostnamectl set-hostname 名字
    
    centos7之前的版本请用此方法:
    vi /etc/sysconfig/network
    NETWORKING=yes
    HOSTNAME=centos6
    :wq #保存并退出 
   不过永久修改hostname需要重启后生效。
 2.修改IP
    [root@HP110 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33 
    TYPE=Ethernet
    PROXY_METHOD=none
    BROWSER_ONLY=no
    BOOTPROTO=static        #设置成静态IP
    DEFROUTE=yes
    IPV4_FAILURE_FATAL=no
    IPV6INIT=yes
    IPV6_AUTOCONF=yes
    IPV6_DEFROUTE=yes
    IPV6_FAILURE_FATAL=no
    IPV6_ADDR_GEN_MODE=stable-privacy
    NAME=ens33
    UUID=4c6356d3-01cd-44ac-9e6f-67afa7f9b847
    DEVICE=ens33
    ONBOOT=yes    #开机默认开启网络
    IPADDR=192.168.231.110     #IP地址
    GATEWAY=192.168.231.2    #网关
    DNS1=8.8.8.8     #域名解析国内
    DNS2=114.114.114.114      #域名解析国外
    PREFIX=24
    IPV6_PRIVACY=no

然后让修改IP生效：[root@HP110 ~]# service network restart

四、配置主机名和IP的对应关系

编辑配置文件 vi /etc/hosts
192.168.231.110   bigdata111

五、mkdir 创建目录

-p 父目录不存在情况下先生成父目录
约定： mkdir /opt/software(安装包目录)
mkdir  /opt/module (软件目录)

六、安装并配置Hadoop和JDK环境变量

（1）使用tar命令解压
tar  -zxvf jdk-8u191-linux-x64.tar.gz -C /opt/module
tar  -zxvf hadoop-2.8.5.tar.gz -C  /opt/module

（2）设置JAVA环境变量：vi  /etc/profile 
JAVA_HOME=/opt/module/jdk1.8.0_191
export JAVA_HOME
PATH=$JAVA_HOME/bin:$PATH
export PATH
生效环境变量 source  /etc/profile 

（3）设置Hadoop的环境变量: vi  /etc/profile 
HADOOP_HOME=/opt/module/hadoop-2.8.5
export HADOOP_HOME
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH
生效环境变量 source  /etc/profile 

注意linux环境变量和Windows的环境变量一样，分系统环境变量和用户环境变量，系统环境变量对所有用户有效，而用户环境变量只对当前用户有效。
系统环境变量配置：vi  /etc/profile    保存后执行source /etc/profile立即生效
用户环境变量配置：vi  ~/ .bash_profile  保存后执行 source ~/.bash_profile立即生效
如果既配置了系统环境变量，又配置了用户环境变量，最终会以用户环境变量的配置为准。

七、修改hadoop文件

进入到 hadoop-2.7.3/etc/hadoop/ 目录下，例如：cd /opt/module/hadoop-2.7.3/etc/hadoop
vi hadoop-env.sh 把 JAVA_HOME 改为本地配置的 JDK 路径即可
在25行设置： export JAVA_HOME=/opt/module/jdk1.8.0_191
在这里插入图片描述

vi core-site.xml
<!--配置HDFS主节点的地址，就是NameNode的地址-->
<!--9000是RPC通信的端口-->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://HP110:9000</value>
	</property>
    
<!--HDFS数据块和元信息保存在操作系统的目录位置-->
<!--默认是Linux的tmp目录,一定要修改-->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/module/hadoop-2.7.3/data/tmp</value>
	</property>
	
<!--配置垃圾回收时间为单位1分钟-->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>

<!--进入垃圾回收站用户名称，默认是dr.who,root用户可以不设置-->
	<property>
		<name>hadoop.http.staticuser.user</name>
		<value>root</value>
	</property>


vi hdfs-site.xml
<!--配置数据块的冗余度,默认是3-->
<!--原则冗余度跟数据节点个数保持一致,最大不要超过3-->
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
    
<!--是否开启HDFS的权限检查，默认是true-->
<!--使用默认值，后面自己可以改为false-->
<!--
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
-->
    
vi mapred-site.xml 注意：默认没有所以复制一个 cp mapred-site.xml.template mapred-site.xml
<!--MR程序运行容器或者框架-->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
    
vi yarn-site.xml
<!--配置Yarn主节点的位置，可以在从节点，但是启动要在从节点输入命令-->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>HP110</value>
	</property>
    
<!--NodeManager执行MR任务的方式是Shuffle洗牌-->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
    
vi slaves 配置从节点地址
HP110(主节点可以不添加)


*配置历史服务器（选择配置）
为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：
1.配置mapred-site.xml
在该文件里面增加如下配置。
<!-- 历史服务器端地址 -->
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>HP110:10020</value>
	</property>
<!-- 历史服务器web端地址 -->
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>HP110:19888</value>
	</property>
2.启动历史服务器
[root@HP110 ~]# sbin/mr-jobhistory-daemon.sh start historyserver
3.查看历史服务器是否启动
[root@HP110 ~]# jps
4.查看JobHistory
http://HP110:19888/jobhistory
 
   
*配置日志的聚集（选择配置）
日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。
日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。
注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。
开启日志聚集功能具体步骤如下：
1.配置yarn-site.xml
在该文件里面增加如下配置。
<!-- 日志聚集功能使能 -->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
   
<!-- 日志保留时间设置7天 -->
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
    </property>
   
   2.查看日志
   http://HP110:19888/jobhistory

八、对HDFS的NameNode进行格式化 -----> 目录：/root/software/hadoop-2.8.5/tmp

举例：软盘，需要格式化
命令：hdfs namenode -format
日志：Storage directory /root/software/hadoop-2.8.5/tmp/dfs/name has been successfully formatted.表示格式成功
注意：重复格式化namenode之前需要删除数据tmp和日志logs

九、启动

HDFS启动：start-dfs.sh
Yarn启动: start-yarn.sh
全部启动：start-all.sh
注意：启动完成后需要输入密码，因为没有实现免密登录

十、实现免密登录

由于每次启动关闭都要输出密码就显得很麻烦，所以就先实现免密登录吧
生成公钥命令：输入ssh-keygen -t rsa 然后按三次回车
![在这里插入图zZG4ubmV0L3FxXzQyMjUwOTEz,size_16,color_FFFFFF,t_70)
然后把公钥给自己：ssh-copy-id -i .ssh/id_rsa.pub root@HP110
![在G9nLmNzZG4ubmV0L3FxXzQyMjUwOTEz,size_16,color_FFFFFF,t_70)

十一、Web Console访问

hdfs: 端口: 50070
yarn: 端口：8088
注意：如果配置文件没有错误访问失败一般是防火墙没有关闭。

酷炜

关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
Hadoop伪分布式模式的安装与配置

一、伪分布式模式安装介绍那么伪分布式就是假分布式，假在哪里，假就假在他只有一台机器而不是多台机器来完成一个任务，但是他模拟了分布式的这个过程，所以伪分布式下Hadoop 也就是你在一个机器上配置了hadoop的所有节点。特点：在单机上，模拟一个分布式的环境，具备Hadoop的所有功能HDFS：NameNode + DataNode + SecondaryNameNodeYarn：R...
复制链接

扫一扫