hadoop集群搭建

最新推荐文章于 2023-04-04 09:55:50 发布
最新推荐文章于 2023-04-04 09:55:50 发布
阅读量988 收藏
点赞数
分类专栏： hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41268548/article/details/107786598
版权

hadoop集群搭建

1.服务器信息

[root@master ~]# cat /etc/hosts
192.168.1.171 master
192.168.1.172 slave01
192.168.1.173 slave02

2.在三个节点分别添加安装用户

groupadd ghadoop
useradd uhadoop -g ghadoop -d /home/uhadoop
passwd uhadoop
#密码uhadoop

3.配置时间同步

[root@master ~]# crontab -l
*/5 * * * * /usr/sbin/ntpdtae 0.cn.pool.ntp.org
[root@slave01 ~]# crontab -l
*/5 * * * * /usr/sbin/ntpdtae 0.cn.pool.ntp.org
[root@slave02 ~]# crontab -l
*/5 * * * * /usr/sbin/ntpdtae 0.cn.pool.ntp.org

4.关闭防火墙和selinux

[root@master ~]# /etc/init.d/iptables status
iptables: Firewall is not running.
[root@master ~]# getenforce
Disabled
[root@slave01 ~]# /etc/init.d/iptables status
iptables: Firewall is not running.
[root@slave01 ~]# getenforce
Disabled
[root@slave02 ~]# /etc/init.d/iptables status
iptables: Firewall is not running.
[root@slave02 ~]# getenforce
Disabled

5.配置无密码登录

#在uhadoop用户下操作
[uhadoop@master ~]$ ssh-keygen
[uhadoop@master ~]$ ssh-copy-id slave01
[uhadoop@master ~]$ ssh-copy-id slave02
[uhadoop@slave01 ~]$ ssh-keygen
[uhadoop@slave01 ~]$ ssh-copy-id master
[uhadoop@slave01 ~]$ ssh-copy-id slave02
[uhadoop@slave02 ~]$ ssh-keygen
[uhadoop@slave02 ~]$ ssh-copy-id master
[uhadoop@slave02 ~]$ ssh-copy-id slave02

#验证
[uhadoop@master ~]$ ssh slave01
[uhadoop@slave01 ~]$ exit
logout
Connection to slave01 closed.
[uhadoop@master ~]$ ssh slave02
[uhadoop@slave02 ~]$ exit
logout
Connection to slave02 closed.
[uhadoop@slave01 .ssh]$ ssh master
[uhadoop@master ~]$ exit
logout
Connection to master closed.
[uhadoop@slave01 .ssh]$ ssh slave02
Last login: Mon Aug 3 18:26:56 2020 from master
[uhadoop@slave02 ~]$ exit
logout
Connection to slave02 closed.
[uhadoop@slave02 ~]$ ssh master
Last login: Mon Aug 3 10:27:15 2020 from slave01
[uhadoop@master ~]$ exit
logout
Connection to master closed.
[uhadoop@slave02 ~]$ ssh slave01
Last login: Mon Aug 3 18:26:47 2020 from master
[uhadoop@slave01 ~]$ exit
logout
Connection to slave01 closed.

6.安装jdk

#三台机器都要装
[uhadoop@master ~]$ tar -zxvf soft/jdk-8u20-linux-x64.tar.gz -C apps/
[uhadoop@slave01 ~]$ tar -zxvf soft/jdk-8u20-linux-x64.tar.gz -C apps/
[uhadoop@slave02 ~]$ tar -zxvf soft/jdk-8u20-linux-x64.tar.gz -C apps/
[uhadoop@master ~]$ cat .bash_profile

export JAVA_HOME=/home/uhadoop/apps/jdk1.8.0_20
export PATH=$PATH:$JAVA_HOME/bin

[uhadoop@master ~]$ source .bash_profile
[uhadoop@master ~]$ scp .bash_profile slave01:/home/uhadoop/.bash_profile
[uhadoop@master ~]$ scp .bash_profile slave02:/home/uhadoop/.bash_profile
[uhadoop@slave01 ~]$ source .bash_profile
[uhadoop@slave02 ~]$ source .bash_profile

7.安装hadoop

7.1 在每台机创建目录

mkdir -p /home/uhadoop/datas/hadoop/dfs/data
mkdir -p /home/uhadoop/datas/hadoop/dfs/name
mkdir -p /home/uhadoop/datas/hadoop/tmp

7.2 在每台机添加hadoop环境变量

[uhadoop@master ~]$ cat .bash_profile

export HADOOP_HOME=/home/uhadoop/apps/hadoop-2.7.6
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

[uhadoop@master ~]$ scp .bash_profile slave01:/home/uhadoop/.bash_profile
[uhadoop@master ~] scp .bash_profile slave01:/home/uhadoop/.bash_profile
[uhadoop@master ~] scp .bash_profile slave01:/home/uhadoop/.bash_profile
[uhadoop@slave01 ~] source .bash_profile
[uhadoop@slave02 ~] source .bash_profile

7.3 在每台机解压hadoop安装包

tar -zxvf hadoop-2.7.6.tar.gz -C …/apps

7.4 配置slave

[uhadoop@master hadoop]$ pwd
/home/uhadoop/apps/hadoop-2.7.6/etc/hadoop
[uhadoop@master hadoop]$ cat slaves
slave01
slave02

7.5 配置core-site.xml

[uhadoop@master hadoop]$ cat core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/uhadoop/datas/hadoop/tmp</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131702</value>
    </property>
</configuration>

7.6 配置hdfs-site.xml

[uhadoop@master hadoop]$ cat hdfs-site.xml

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/uhadoop/datas/hadoop/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/uhadoop/datas/hadoop/dfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>master:50090</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>dfs.balance.bandwidthPerSec</name>
        <value>10485760</value>
    </property>
</configuration>

7.7 配置mapred-site.xml

[uhadoop@master hadoop]$ cat mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

7.8 配置yarn-env.sh

[uhadoop@hadoop01 hadoop]$ tail -n2 yarn-env.sh
export JAVA_HOME=/home/uhadoop/apps/jdk1.8.0_20

7.9 配置hadoop-env.sh

[uhadoop@hadoop01 hadoop]$ tail -n1 hadoop-env.sh
export JAVA_HOME=/home/uhadoop/apps/jdk1.8.0_20

7.10 配置yarn-site.xml

[uhadoop@master hadoop]$ cat yarn-site.xml

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop01</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
</configuration>

7.11 同步文件

[uhadoop@master apps]$ scp -r hadoop-2.7.6 slave01:/home/uhadoop/apps/
[uhadoop@master apps]$ scp -r hadoop-2.7.6 slave02:/home/uhadoop/apps/

7.12 格式化文件系统

[uhadoop@master ~]$ source .bash_profile
[uhadoop@master bin]$ pwd
/home/uhadoop/apps/hadoop-2.7.6/bin
[uhadoop@master bin]$ ./hdfs namenode -format
在这里插入图片描述

7.13 启动hadooop

[uhadoop@master sbin]$ pwd
/home/uhadoop/apps/hadoop-2.7.6/sbin
[uhadoop@master sbin]$ ./start-all.sh
在这里插入图片描述

7.14 查看进程

[uhadoop@master sbin]$ jps
4437 SecondaryNameNode
4249 NameNode
4588 ResourceManager
4845 Jps
[uhadoop@slave01 .ssh]$ jps
2465 DataNode
2710 Jps
2571 NodeManager
[uhadoop@slave02 ~]$ jps
2565 NodeManager
2694 Jps
2459 DataNode

7.15 登录管理界面

在这里插入图片描述
在这里插入图片描述

8.安装hive

8.1 解压hive安装包

[uhadoop@master soft]$ tar -zxvf apache-hive-2.3.5-bin.tar.gz -C …/apps/

8.2 设置环境变量

[uhadoop@master ~]$ tail -n2 .bash_profile

export HIVE_HOME=/home/uhadoop/apps/apache-hive-2.3.5-bin
export PATH=$HIVE_HOME/bin:$PATH

[uhadoop@master ~]$ source .bash_profile

8.3 创建目录

[uhadoop@master ~]$ cat 1.sh
mkdir -p /home/uhadoop/datas/hive/log
mkdir -p /home/uhadoop/datas/hive/execlog
mkdir -p /home/uhadoop/datas/hive/tmp
[uhadoop@master ~]$ sh 1.sh
[uhadoop@master ~]$ hdfs dfs -mkdir -p /user/hive/warehouse
[uhadoop@master ~]$ hdfs dfs -mkdir -p /user/hive/tmp

8.4 mysql安装

[root@slave01 ~]# yum install -y mysql mysql-server mysql-devel
[root@slave01 ~]# vi /etc/my.cnf
在这里插入图片描述
default-character-set=utf8
character_set_server = utf8
[client]
default-character-set=utf8

[root@slave01 ~]# /etc/init.d/mysqld start
[root@slave01 ~]# mysql_install_db

#创建hive数据库和连接用户
[root@slave01 ~]# mysqladmin -uroot password ‘mmds#123’
mysql> create database hive;
mysql> alter database hive character set latin1;
mysql> grant all on hive.* to hive@’%’ identified by ‘hive’;
mysql> flush privileges;

8.5 配置hive-env.sh

[uhadoop@master conf]$ cp hive-env.sh.template hive-env.sh
[uhadoop@master conf]$ vi hive-env.sh
[uhadoop@master conf]$ tail -n4 hive-env.sh
export JAVA_HOME=/home/uhadoop/apps/jdk1.8.0_20
export HADOOP_HOME=/home/uhadoop/apps/hadoop-2.7.6
export HIVE_HOME=/home/uhadoop/apps/apache-hive-2.3.5-bin
export HIVE_CONF_DIR=/home/uhadoop/apps/apache-hive-2.3.5-bin/conf

8.6 配置hive-site.xml

[uhadoop@master conf]$ cp hive-default.xml.template hive-site.xml
[uhadoop@master conf]$ vi hive-site.xml
[uhadoop@master conf]$ cat hive-site.xml

<configuration>
    <property>
        <name>hive.exec.scratchdir</name>
        <value>/user/hive/tmp</value>
    </property>
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>
    <property>
        <name>hive.querylog.location</name>
        <value>/home/uhadoop/datas/hive/tmp/${user.name}</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://slave01:3306/hive?characterEncoding=UTF-8</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>hive</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>hive</value>
    </property>
</configuration>

8.7 修改hive-exec-log4j2.properties

[uhadoop@master conf]$ cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties
[uhadoop@master conf]$ vi hive-exec-log4j2.properties
修改hive-log4j2.properties文件以下配置项
property.hive.log.dir = /home/uhadoop/datas/hive/log/${sys:user.name}

8.8 修改hive-log4j2.properties

[uhadoop@master conf]$ cp hive-log4j2.properties.template hive-log4j2.properties
[uhadoop@master conf]$ vi hive-log4j2.properties
修改hive-log4j2.properties文件以下配置项
property.hive.log.dir = /home/uhadoop/datas/hive/log/${sys:user.name}

8.9 配置core-site.xml

修改hadoop安装目录下/etc/hadoop/core-site.xml文件，给beeline登录用户开放权限
[uhadoop@master hadoop]$ vi core-site.xml
[uhadoop@master hadoop]$ pwd
/home/uhadoop/apps/hadoop-2.7.6/etc/hadoop

<property>
    <name>hadoop.proxyuser.uhadoop.groups</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.uhadoop.hosts</name>
    <value>*</value>
</property>

8.10 将mysql连接驱动放到hive的lib目录下

[uhadoop@master lib]$ rm -rf log4j-slf4j-impl-2.6.2.jar
删除hive安装目录下/lib/log4j-slf4j-impl-2.6.2.jar文件，否则会与hadoop安装目录下的log4j重复
[uhadoop@master mysql-connector-java-5.1.48]$ mv mysql-connector-java-5.1.48.jar /home/uhadoop/apps/apache-hive-2.3.5-bin/lib/

8.11 启动hive

#使用如下命令初始化，自动生成hive数据库元数据信息
[uhadoop@master bin]$ ./schematool -dbType mysql -initSchema
在这里插入图片描述
#本地连接hive
[uhadoop@master uhadoop]$ hive
在这里插入图片描述
#没有权限，需要配置权限
[uhadoop@master conf]$ hdfs dfs -chmod -R 777 /user/hive/tmp

#启动hiveserver2，用于beeline等客户端连接hive
[uhadoop@master bin]$ nohup hive --service hiveserver2 > /dev/null 2>&1 &

8.12 连接hive

#本地连接
[uhadoop@master uhadoop]$ hive
在这里插入图片描述
#beeline连接，在命令行输入命令
[uhadoop@master uhadoop]$ beeline
beeline> !connect jdbc:hive2://master:10000 uhadoop uhadoop

9.安装tez

9.1 解压tez安装包

[uhadoop@master soft]$ tar -zxvf apache-tez-0.9.0-bin.tar.gz -C …/apps/

#删除tez安装目录下/lib/slf4j-log4j12-1.7.10.jar文件，否则会与hadoop安装目录下的log4重复和删除tez安装目录下/lib/中以下两个文件
[uhadoop@master lib]$ pwd
/home/uhadoop/apps/apache-tez-0.9.0-bin/lib
[uhadoop@master lib]$ rm -rf slf4j-log4j12-1.7.10.jar
[uhadoop@master lib]$ rm -rf hadoop-mapreduce-client-common-2.7.0.jar
[uhadoop@master lib]$ rm -rf hadoop-mapreduce-client-core-2.7.0.jar

9.2 将hadoop安装目录下/share/hadoop/mapreduce/中以下两个文件，复制到tez安装目录下/lib/目录中

[uhadoop@master lib]$ cd /home/uhadoop/apps/hadoop-2.7.6/share/hadoop/mapreduce/
[uhadoop@master mapreduce]$ cp hadoop-mapreduce-client-common-2.7.6.jar /home/uhadoop/apps/apache-tez-0.9.0-bin/lib/
[uhadoop@master mapreduce]$ cp hadoop-mapreduce-client-core-2.7.6.jar /home/uhadoop/apps/apache-tez-0.9.0-bin/lib/

9.3 上传运行包

在tez 安装目录/share下有个tez.tar.gz压缩包，把它上传到hdfs上面
[uhadoop@master mapreduce]$ cd /home/uhadoop/apps/apache-tez-0.9.0-bin/share
[uhadoop@master share]$ hadoop fs -mkdir -p /user/tez
[uhadoop@master share]$ hadoop fs -put tez.tar.gz /user/tez

9.4 配置tez-site.xml

[uhadoop@master hadoop]$ cat tez-site.xml

<configuration>
    <property>
        <name>tez.lib.uris</name>
        <value>/user/tez/tez.tar.gz</value>
    </property>
</configuration>

9.5 修改mapred-site.xml

[uhadoop@master hadoop]$ cat mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn-tez</value>
    </property>
</configuration>

9.6 在hadoop-env.sh添加以下内容

[uhadoop@master hadoop]$ tail -n7 hadoop-env.sh

export TEZ_HOME=/home/uhadoop/apps/apache-tez-0.9.0-bin
for jar in `ls $TEZ_HOME | grep jar`; do
    export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$TEZ_HOME/$jar
done
for jar in `ls $TEZ_HOME/lib`; do
    export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$TEZ_HOME/lib/$jar
done

9.7 设置引擎

#hive使用哪个引擎执行运算需要设置，如在hive客户端命令行设置
set hive.execution.engine=tez
set hive.execution.engine=mr

[uhadoop@master hadoop]$ hive
hive> set hive.execution.engine=tez;
hive> select count(*) from poke;
在这里插入图片描述
在这里插入图片描述

老哥爱学习
关注
专栏目录
Hadoop大数据集群搭建（超详细）_hadoop集群搭建
2401_84181070的博客
04-27 1036
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）同样通过mobaxterm的上的SFTP功能（或其他工具）上传到/export/software目录下，然后解压到/export/servers目录下。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。在hadoop01上执行。
Hadoop大数据集群搭建（超详细）_hadoop集群搭建(1)
最新发布
2401_84181070的博客
04-27 1051
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）Hadoop的JAVA_HOME版本设置未更改，例如未去掉注释等，三台虚拟机全都改好后重启hdfs和yarn。Hadoop的JAVA_HOME版本设置未更改，例如未去掉注释等，三台虚拟机全都改好后重启hdfs和yarn。执行该程序（参考下文中可能遇到的问题，问题1、2为必现问题，建议直接修改）
解决 Docker Hadoop ssh "Connection to * closed".问题
weixin_30872867的博客
04-10 644
Docker 最近很火， 可以快速轻量级地虚拟出多个node，所以打算在Docker中跑Hadoop伪分布式应用。 其实要做出个简单的版本倒是不难，主要在 建立ssh无密码登录本机时，出现刚登录上去，立刻就退出来的问题。 解决办法如下： sudo ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key (一直回车) sudo ssh-keyg...
Ambari部署HDP出现的问题总结
T_ells的博客
10-14 3402
此问题是在安装第二步，注册主机时遇到的 error:100AE081:elliptic curve routines:EC_GROUP_new_by_curve_name:unknown group ERROR 2015-02-06 20:10:20,023 NetUtil.py:58 - SSLError: Failed to connect. Please check openssl
Ambari安装报错
Ms_WangH
05-08 834
Ambari安装报错 ========================== Creating target directory... ========================== Command start time 2020-05-08 14:21:45 Connection to ambari1 closed. SSH command execution finished ho...
ambari-2.7.5 安装 常见错误1
flash8627的专栏
09-05 1635
========================== Creating target directory... ========================== Command start time 2020-09-05 22:15:50 Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password). SSH command execution finished host=hdp1.gwtjs.com, exitcode=2.
docker环境下搭建hadoop集群(ubuntu16.04 LTS系统）
weixin_42051109的博客
09-18 4951
我的思路是这样： 安装ubuntu系统----&gt;下载docker----&gt;在docker里拉取hadoop镜像----&gt;在此镜像里创建三个容器(Master、Slave1、Slave2)----&gt;完成完全分布式 1.   安装ubuntu系统(无论你是安装的单系统，还是用虚拟机安装了ubuntu)        如果想安装单系统，步骤如下： （1)  把ubuntu镜...
3.基于hadoop集群搭建hbase
06-17
### 基于Hadoop集群搭建HBase集群详解 #### 一、引言 随着大数据技术的迅猛发展，海量数据的高效存储与处理成为企业关注的重点。Hadoop作为一款能够处理大量数据的基础框架，被广泛应用于各类场景之中。然而，在...
hadoop集群搭建(超级详细)
10-11
在大数据领域，Hadoop是一个广泛使用的开源框架，用于存储和处理海量数据。本文将详细讲解如何搭建一个...这个超详细的教程覆盖了从零开始到集群搭建完成的全过程，按照步骤执行，可以轻松掌握Hadoop集群搭建技术。
hadoop集群搭建_centos7配置静态IP
01-07
1.网络配置 设为NAT模式 虚拟机中选中节点,设置–>虚拟机设置—>网络适配器—>NAT模式 2.网络配置 打开虚拟机 ,选中需要修改的节点,步骤如下: 编辑—>虚拟网络编辑器—>VMnet8(NAT模式)—>移除...如果是集群配置,其
hadoop 拒绝连接
qq_51921514的博客
04-04 9693
在启动 Hadoop 服务之前，需要先检查 Hadoop 的配置文件是否正确，比如 core-site.xml、hdfs-site.xml、yarn-site.xml 等。检查Hadoop配置：检查Hadoop配置文件，如core-site.xml、hdfs-site.xml等，确保其中的配置正确。可以在每个节点上设置正确的主机名和IP地址，并在/etc/hosts文件中添加相应的映射。如果问题仍然存在，可以尝试在Hadoop官方网站上查找更多解决方案，或者咨询Hadoop社区的专家。
hadoop运行任务时出现网络链接异常
分布式应用与服务器架构专栏
01-09 1437
最近一直在运行hadoop的任务，时常出现断网情况， 刚开始还以为机器死机了，后来本地操作发现，机器并没有死机，重启下网卡（重启命令是/etc/init.d/network restart）就好了。 后来询问其他工程师后，是网卡驱动问题导致，所以转载操作方式如下： (CentOS自带R8169驱动与R8168网卡之间的纠结) 在官网 http://www.realtek.com.tw/d
Spark 中 JVM 内存使用及配置详情、spark报错与调优、Spark内存溢出OOM异常
.
05-08 7010
一般在我们开发spark程序的时候，从代码开发到上线以及后期的维护中，在整个过程中都需要涉及到调优的问题，即一开始需要考虑如何把代码写的更简洁高效调优(即代码优化)，待开发测试完成后，提交任务时综合考量该任务所需的资源(这里涉及到资源调优)，上线后是否会出现数据倾斜问题(即倾斜调优)，以及是否出现频繁GC问题(这里涉及到GC调优)。 那么本篇通过反推的模式，即通过GC调优进行延伸扩展，比如出现GC问题是不是可能出现了倾斜？如果没有出现倾斜，是不是我们给的资源不足？如果资源...
hadoop学习中遇到的问题：hadoop拒绝连接
热门推荐
sinat_35803474的博客
01-01 3万+
hadoop学习中遇到的问题：hadoop拒绝连接 hadoop安装好之后，在本地浏览器输入地址http://192.168.29.134:9870，提示拒绝连接。在网上找了很多相关资料，有很多原因导致，一个是防火墙没关闭，一个是namenode没有启动起来，一个是因为namenode启动后journalnode还没有启动，还有就是namenode和datanode的clusterID不一致、没有...
hbase的shell命令出现ERROR:Connection closed问题解决
weixin_48876595的博客
12-23 4013
问题描述 做大数据存储实验的时候用hbase的shell命令结果出现报错，Connection closed 查看日志发现报错服务不存在 最终解决方法 排查一大堆，最后发现是jdk版本的问题，我用的java-17.0.1版本太高了，最后换成jdk-8u331-linux-x64.tar.gz就解决了 我的版本分别是 hadoop 3.2.2 hbase 2.3.6 java 1.8.0 附上hadoop、hbase、java搭配表 解决步骤 1 清空hadoop的临时文件 先关闭hbase和ha
Jenkins加上linux slave出现[SSH] Connection closed.问题
darryl_lee的博客
03-28 361
将/etc/passwd里面的jenkins用户修改成/bin/bash
Ambari学习3_Ambari Registration with the server failed 错误解决
wang_zhenwei的博客
11-08 1万+
按照网上的教程安装配置Ambari，进行到第三步时，出现错误： 点击红色“Failed”，查看详细错误： ========================== Creating target directory... ========================== Command start time 2016-11-09 16:24:42 Connection to sla
Hadoop完全分布式搭建安装
m0_37657725的博客
07-03 650
目录 1.改主机名 2.创建映射关系 3.关闭防火墙 4.免密登录 5.在01 02 03节点安装Zookeeper集群 6.节点04 05 06上解压hadoop 6.1 配置hadoop-env.sh 6.2 编辑core-site.xml 6.3 编辑hdfs-site.xml 6.4 编辑mapred-site.xml 6.5 编辑yarn-site.xml 6.6...
Hadoop集群搭建
09-26
Hadoop集群搭建是一个开源的、可运行与Linux集群上的分布式计算平台。用户可以通过Hadoop存有基础环境的配置，包括虚拟机安装和Linux系统安装等步骤来搭建Hadoop集群。具体步骤如下： 1. 虚拟机的安装：首先安装虚拟机，创建所需的Linux虚拟机实例。 2. Linux系统安装： a. 环境准备：安装所需的软件和依赖项。 b. 虚拟机安装：在虚拟机中安装Linux操作系统。 3. Hadoop集群配置： a. 进入主节点配置目录：在主节点上进入Hadoop的配置目录。 b. 修改配置文件：根据需求修改core-site.xml、hdfs-site.xml和yarn-site.xml等配置文件。 c. 配置从节点：在每个从节点上进行相同的配置操作。 4. Hadoop集群测试：启动Hadoop集群并进行功能测试，确保集群正常运行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

老哥爱学习

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值