DH520HW520的博客

学习Python日志笔记;

配置Hadoop环境集群搭建-1

以下1-5的操作均以root用户身份针对虚拟机中的Linux系统
1.root下分别配置静态IP、子网掩码、网关、域名解析
IPADDR=192.168.220.128 (linux系统的IP)
NETMASK=255.255.255.0
GATEWAY=192.168.220.2 (linux系统的网关)
DNS1=202.106.0.20       (可以是这个)


2.root下vi /etc/sysconfig/network-scripts/ifcfg-ens33后追加如下内容:
IPADDR=192.168.220.128
NETMASK=255.255.255.0
GATEWAY=192.168.220.2
DNS1=202.106.0.20
并修改BOOTPROTO=static


3.systemctl restart network 重启网络


4.root下修改主机名称
默认情况下的主机名:localhost,修改为python333
vi /etc/hostname后只留存内容:python333
修改主机映射
vi /etc/hosts后追加内容:192.168.220.128 python333


5.重启linux系统,命令:reboot


6.修改Windows主机对虚拟机中linux系统的认知,在C:\Windows\System32\drivers\etc下的hosts中追加192.168.220.128 python333,
即可以ssh python333远程登录linux
-----------------------------------------------------------------------------------
以下步骤均以hadoop用户身份操作
1.hadoop用户解压文件于/home/hadoop/opt/下,命令:tar -zvxf hadoop-xxx.gx -C opt


2.配置hadoop环境变量,hadoop用户在工作目录下vi .bashrc后追加如下内容:
export HADOOP_HOME=/home/hadoop/opt/hadoop-2.9.0
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin


3.之后source .bashrc刷新,输入hadoop验证


4.配置hadoop配置文件,进入/home/hadoop/opt/hadoop-2.9.0/etc/hadoop下,添加如下信息
4.1.core-site.xml:默认文件系统hdfs,HDFS浏览器请求地址
<property>
<name>fs.defaultFS</name>
<value>hdfs://python333:9000</value> 
</property>


4.2.hdfs-site,xml:修改 Hadoop 文件块的默认备份数3为1
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/hadoop/opt/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/hadoop/opt/tmp/dfs/data</value>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>python333:50070</value>
</property>


4.3.mapred-site.xml:启用yarn的资源调度框架,
注:需要备份cp mapred-site.xml.template mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>


4.4.yarn-site.xml:配置yarn主机  
<property>
<name>yarn.resourcemanager.hostname</name>
<value>python333</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>


4.5.slaves:配置dataname主机名称
python333


5.root用户关闭防火墙
5.1.选择永久关闭(临时关闭:setenforce 0)
vi /etc/selinux/config后修改:
SELINUX=disabled
5.2关闭防火墙(查看防火墙状态systemctl status firewalld)
临时关闭 systemctl stop firewalld
永久关闭 systemctl disable firewalld
5.3重启电脑reboot


6.退出管理员用户,以hadoop进入/home/hadoop/opt/下,
6.1新建tmp目录:mkdir tmp
6.2执行hdfs文件系统格式化,输入:hdfs namenode -format


7.配置密匙(公匙,私匙;可以在工作目录下)
7.1执行ssh-keygen -t rsa,一路回车生成密匙
7.2想无密码登陆到哪台电脑:ssh-copy-id python333,之后输入yes确认


8.验证(hadoop在工作目录下)
(start-dfs.sh
 start-yarn.sh)
8.1输入start-all.sh
8.2输入jps


------------------------------------------------------------
1.浏览器输入:python3:50070


2.hadoop fs -mkdir -p /user/hadoop
注:如果创建过程出现错误,如‘Name node is in safe mode’,需要进入hadoop-2.9.0目录下,执行命令:bin/hadoop dfsadmin -safemode leave


3.hadoop fs -put data1.txt


http://rpmfind.net/linux/rpm2html/search.php?query=libmpfr.so.4%28%29%2864bit%29+&submit=Search+...&system=&arch=  #下载linux软件地址
阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/DH520HW520/article/details/79974556
文章标签: linux
个人分类: linux
上一篇Python 字典
下一篇配置Hadoop集群环境(1.1)
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭