Ubuntu18安装Hadoop，zookeeper，hbase--记录

 

安装的版本如上:三台电脑都需要统一安装

首先安装hadoop

下载：Index of /dist/hadoop/common/hadoop-2.7.7

 

上传文件，并解压

 

cd到haddop目标，创建目录

 

Haddop配置：

 

保存退出：

 

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/opt/hadoop-2.7.7/tmp</value>
<description>Abasefor other temporary directories.</description>
</property>
<property>
<name>hadoop.proxyuser.spark.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.spark.groups</name>
<value>*</value>
</property>
</configuration>

 

 

 

<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/opt/hadoop-2.7.7/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/opt/hadoop-2.7.7/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>

 

 

 

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>

<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8035</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>

 

 

 

将master配置好的haddop，远程复制到另外两台电脑

 

 scp -r hadoop-2.7.7 root@ubuntu1804slave1:`pwd`
 scp -r hadoop-2.7.7 root@ubuntu1804slave2:`pwd`

 

检查是否传输成功：存在！

 Hadoop启动：

 

./hadoop namenode -format

 

 

 

 记一下;这里我的节点只有一个，另外两个节点没有连接；

解决错误：

查看日志：

9000端口拒绝访问！

仔细思考，可能是防火墙，配置文件换成IP地址；等等；

我的解决方式如下：

netstat -tlpn 检查主节点9000端口是否打开，发现是127.0.0.1；原来这是只允许自己访问9000，肯定其他两个电脑没法访问呗，那么修改master中的host不就行了；0.0.0.0 允许所有电脑访问；如下图 vi /etc/hosts

 重启电脑：reboot

测试如下：成功！

 Zookeeper集群部署

上传解压：

 

 

 

 

 

 Hbase部署

HBase 配置 

 

 

 

 

 

 

 启动：成功！

 

 Spark 部署

 

 

 

 

export JAVA_HOME=/opt/jdk1.8.0_333
export SPARK_MASTER_IP=10.1.53.213
export SPARK_WORKER_MEMORY=4g
export SPARK_WORKER_CORES=2
export SPARK_EXECUTOR_MEMORY=4g
export HADOOP_HOME=/opt/hadoop-2.7.7/
export HADOOP_CONF_DIR=/opt/hadoop-2.7.7/etc/hadoop
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/jdk1.8.0_333/jre/lib/amd64

 

 

 

 http://10.1.53.213:8080/

至此， Haddop、Zookeeper、HBase安装成功！