配置Hadoop环境集群搭建-1

标签: linux
11人阅读 评论(0) 收藏 举报
分类:
以下1-5的操作均以root用户身份针对虚拟机中的Linux系统
1.root下分别配置静态IP、子网掩码、网关、域名解析
IPADDR=192.168.220.128 (linux系统的IP)
NETMASK=255.255.255.0
GATEWAY=192.168.220.2 (linux系统的网关)
DNS1=202.106.0.20       (可以是这个)


2.root下vi /etc/sysconfig/network-scripts/ifcfg-ens33后追加如下内容:
IPADDR=192.168.220.128
NETMASK=255.255.255.0
GATEWAY=192.168.220.2
DNS1=202.106.0.20
并修改BOOTPROTO=static


3.systemctl restart network 重启网络


4.root下修改主机名称
默认情况下的主机名:localhost,修改为python333
vi /etc/hostname后只留存内容:python333
修改主机映射
vi /etc/hosts后追加内容:192.168.220.128 python333


5.重启linux系统,命令:reboot


6.修改Windows主机对虚拟机中linux系统的认知,在C:\Windows\System32\drivers\etc下的hosts中追加192.168.220.128 python333,
即可以ssh python333远程登录linux
-----------------------------------------------------------------------------------
以下步骤均以hadoop用户身份操作
1.hadoop用户解压文件于/home/hadoop/opt/下,命令:tar -zvxf hadoop-xxx.gx -C opt


2.配置hadoop环境变量,hadoop用户在工作目录下vi .bashrc后追加如下内容:
export HADOOP_HOME=/home/hadoop/opt/hadoop-2.9.0
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin


3.之后source .bashrc刷新,输入hadoop验证


4.配置hadoop配置文件,进入/home/hadoop/opt/hadoop-2.9.0/etc/hadoop下,添加如下信息
4.1.core-site.xml:默认文件系统hdfs,HDFS浏览器请求地址
<property>
<name>fs.defaultFS</name>
<value>hdfs://python333:9000</value> 
</property>


4.2.hdfs-site,xml:修改 Hadoop 文件块的默认备份数3为1
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/hadoop/opt/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/hadoop/opt/tmp/dfs/data</value>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>python333:50070</value>
</property>


4.3.mapred-site.xml:启用yarn的资源调度框架,
注:需要备份cp mapred-site.xml.template mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>


4.4.yarn-site.xml:配置yarn主机  
<property>
<name>yarn.resourcemanager.hostname</name>
<value>python333</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>


4.5.slaves:配置dataname主机名称
python333


5.root用户关闭防火墙
5.1.选择永久关闭(临时关闭:setenforce 0)
vi /etc/selinux/config后修改:
SELINUX=disabled
5.2关闭防火墙(查看防火墙状态systemctl status firewalld)
临时关闭 systemctl stop firewalld
永久关闭 systemctl disable firewalld
5.3重启电脑reboot


6.退出管理员用户,以hadoop进入/home/hadoop/opt/下,
6.1新建tmp目录:mkdir tmp
6.2执行hdfs文件系统格式化,输入:hdfs namenode -format


7.配置密匙(公匙,私匙;可以在工作目录下)
7.1执行ssh-keygen -t rsa,一路回车生成密匙
7.2想无密码登陆到哪台电脑:ssh-copy-id python333,之后输入yes确认


8.验证(hadoop在工作目录下)
(start-dfs.sh
 start-yarn.sh)
8.1输入start-all.sh
8.2输入jps


------------------------------------------------------------
1.浏览器输入:python3:50070


2.hadoop fs -mkdir -p /user/hadoop
注:如果创建过程出现错误,如‘Name node is in safe mode’,需要进入hadoop-2.9.0目录下,执行命令:bin/hadoop dfsadmin -safemode leave


3.hadoop fs -put data1.txt


http://rpmfind.net/linux/rpm2html/search.php?query=libmpfr.so.4%28%29%2864bit%29+&submit=Search+...&system=&arch=  #下载linux软件地址
查看评论

Hadoop分布式集群环境搭建(三节点)

一、安装准备 创建hadoop账号 更改ip 安装Java 更改/etc/profile 配置环境变量export $JAVA_HOME=/usr/java/jdk1.7.0_71 修改host文件域...
  • ltliyue
  • ltliyue
  • 2016-05-01 09:59:51
  • 1001

Hadoop2.7.2之集群搭建(三台)

如果你还没有虚拟机,请参考:http://blog.csdn.net/uq_jin/article/details/51355124 如果你还没有试过单机模式,请参考:http://blog.csd...
  • u010435203
  • u010435203
  • 2016-05-27 12:43:18
  • 10846

Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程

1.选取三台服务器(CentOS系统64位)   114.55.246.88 主节点   114.55.246.77 从节点   114.55.246.93 从节点      之后的操作如果是...
  • feng020a
  • feng020a
  • 2017-03-01 10:35:58
  • 1083

Hadoop2.7.2+Hbase1.2.1分布式环境搭建整理

Hadoop2.7.2+Hbase1.2.1分布式环境搭建整理
  • sinat_30569973
  • sinat_30569973
  • 2016-08-17 17:24:00
  • 5809

hadoop2.7.3集群搭建------>真正的分布式环境

一、集群股规划 主机名 IP 安装的软件 运行的进程 hadoop01    192.168.19.132      jdk、hadoop                  NameNode、DFSZ...
  • hongchenlingtian
  • hongchenlingtian
  • 2016-12-26 14:01:44
  • 1578

hadoop-3.0.0集群环境搭建、配置

12月13日hadoop-3.0.0发布正式版啦,试试最新的 Release Notes:Minimum required Java version increased from Java ...
  • cc1949
  • cc1949
  • 2017-12-18 20:24:57
  • 2177

Hadoop-1.2.1分布式集群搭建(亲测有效版)

Hadoop-1.2.1分布式集群搭建Hadoop-121分布式集群搭建 环境条件 安装jdk并配置环境 安装ssh-client 安装ssh-server 配置ssh免密登录 安装配置Hadoop-...
  • linukey
  • linukey
  • 2017-03-17 10:14:44
  • 839

Hadoop单机、伪分布式集群搭建(十分详细)

要搭建Hadoop HA集群请戳这 今天终于把老师布置的项目做完了,闲来无事在机房的电脑上装了Ubuntu(用EasyBCD步骤非常简单,请自行百度),上学期在虚拟机上装了Hadoop,现在可以在实...
  • Dr_Guo
  • Dr_Guo
  • 2016-11-25 17:15:34
  • 12418

Hadoop之——CentOS + hadoop2.5.2分布式环境配置

一、基础环境准备 系统:(VMWare) CentOS-6.5-x86_64-bin-DVD1.iso hadoop版本:hadoop-2.5.2 jdk版本:jdk-7u72-linux-x64.t...
  • l1028386804
  • l1028386804
  • 2016-05-30 10:41:27
  • 2423

hadoop2.7.3 HA高可用集群安装

hadoop2.7.3 HA高可用集群安装 HDFS高可用性(NameNode) NN必须实现共享元数据才能保证无缝切换;共享元数据可以采用Linux提供的NFS服务,也可以使用Ha...
  • ProfoundOx
  • ProfoundOx
  • 2016-12-20 22:16:25
  • 1617
    个人资料
    持之以恒
    等级:
    访问量: 721
    积分: 119
    排名: 122万+
    文章分类
    文章存档