大数据技能竞赛搭建部分

高版本搭建

zookeeper搭建

解压并配置环境变量

export ZOOKEEPER_HOME=/opt/module/zookeeper

export PATH=$PATH:$ZOOKEEPER_HOME/bin

cd /opt/zookeeper && mkdir zkdata && cd zkdata

[master]

echo 1 > myid

[slave1]

echo 2 > myid

[slave2]

echo 3 > myid

cd /opt/module/zookeeper/conf && cp zoo_sample.cfg zoo.cfg && vim zoo.cfg

dataDir=/opt/module/zookeeper/zkdata

server.1=master:2888:3888

server.2=slave1:2888:3888

server.3=slave2:2888:3888

admin.serverPort=8089

hadoop搭建

先创建一个atguigu用户（每台主机都要创建并设置免密）

adduser atguigu && passwd atguigu && su atguigu

解压并配置环境变量

export HADOOP_HOME=/opt/module/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

修改hadoop配置文件

vim hadoop-env.sh
JAVA_HOME=/opt/module/jdk

 core-site.xml配置

	<!-- 指定 NameNode 的地址 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://master:8020</value>
	</property>
	<!-- 指定 hadoop 数据的存储目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/module/hadoop/data</value>
	</property>
	<!-- 配置 HDFS 网页登录使用的静态用户为 atguigu -->
	<property>
		<name>hadoop.http.staticuser.user</name>
		<value>atguigu</value>