山间皮卡丘-CSDN博客

原创 Hadoop环境配置（12）--flume环境配置

1、将下载的flume压缩包拉到/opt/software/文件夹下安装包版本：apache-flume-1.9.0-bin.tar.gz2、将安装包解压到/opt/module/文件夹中，命令：cd /opt/software/tar -zxvf 安装包名 -C /opt/module/3、修改系统环境变量，命令：vi /etc/profile在编辑面板中添加如下代码：export FLUME_HOME=/opt/module/apache-flume-1.9.0.

2021-12-12 15:20:56 945

原创 Hadoop环境搭建（11）--Hbase环境配置

1、将Hbase安装包拉到/opt/software/文件夹中安装包版本：hbase-2.2.0-bin.tar.gz2、解压Hbase安装包到/opt/module/文件夹下，命令：

2021-12-12 14:42:54 1061

原创 Hadoop环境搭建（10）--Zookeeper环境搭建

在zookeeper安装之前，先检查防火墙是否关闭①防火墙状态的查看，命令：systemctl status firewalld②关闭防火墙，命令：systemctl stop firewalld③设置开机防火墙不启动，命令：systemctl disable firewalld1、将zookeeper安装包拉到/opt/software/文件夹中安装包版本：apache-zookeeper-3.5.5-bin.tar.gz2、解压zookeeper安装包到

2021-12-09 15:05:10 1080

原创 Hadoop环境配置（9）--hive环境配置

1、将下载的hive压缩包拉到/opt/software/文件夹下2、将安装包解压到/opt/module/文件夹中，命令：cd /opt/software/tar -zxvf 压缩包名 -C /opt/module/

2021-12-08 19:43:14 1384 1

原创 Hadoop环境搭建（8）--MySQL环境配置

1、将MySQL安装包拉到/opt/software文件夹中2、检查系统是否安装过MySQLrpm -qa|grep mariadb如果出现mariadb-libs-5.5.56-2.el7.x86_64文件，则将其卸载掉 rpm -e --nodeps mariadb-libs-5.5.56-2.el7.x86_643、将MySQL安装包解压到/opt/module文件夹中，命令：tar -xf 要解压的文件名 -C /opt/module4、安装对应的rpm...

2021-12-08 18:01:41 710

原创 Hadoop环境搭建（7）--ssh免密登录

1、在每个节点生成公钥和私钥，并将公钥拷贝到其他两个目标机器上①Hadoop100生成公钥和私钥，命令：ssh-keygen -t rsa # 之后按三次回车键②将Hadoop100的公钥拷贝到其他两个目标机器上，命令：ssh-copy-id hadoop100ssh-copy-id hadoop101ssh-copy-id hadoop102③Hadoop101生成公钥和私钥，命令：ssh-keygen -t rsa④将Hadoop101的公钥拷贝到其..

2021-12-08 17:06:54 377

原创 Hadoop环境搭建（5）--完全分布式搭建

1、核心文件配置①从Linux系统中获取JDK的安装路径：echo $JAVA_HOME②配置hadoop-env.sh，命令：cd /opt/module/hadoop-3.1.3/etc/hadoop/vi hadoop-env.sh将配置文件修改如图所示：③配置core-site.xml，命令：vi core-site.xml在编辑面板中添加如下代码：<?xml version="1.0" encoding="UTF-8"?>&

2021-12-08 16:33:10 216

原创 Hadoop环境搭建（4）--伪分布式搭建

HDFS是进行储存的，YARN是进行调度的1、切换到hadoop下面的etc（配置文件都在etc下面）cd /opt/module/hadoop-3.1.3/etc/hadoop/用ll查看，我们会发现将要配置的文件2、接下来将对这四个文件进行配置①配置core-site.xmlvi core-site.xml将configuration标签中的内容删掉换成如下内容:<configuration><!-- 指定HDFS中NameNod...

2021-12-08 11:16:59 307

原创 Hadoop环境搭建（MobaXterm中）（3）

一、jdk、hadoop环境配置①在opt文件夹下分别创建两个文件夹②解压jdk文件和hadoop文件到module文件夹中解压jdk-8u212-linux-x64.tar.gz到/opt/module/中，命令tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/解压hadoop-3.1.3.tar.gz到/opt/module/中，命令:tar -zxvf hadoop-3.1.3.tar.gz -C /opt/mo.

2021-12-08 10:33:51 1104

原创 Hadoop环境搭建（2）

三、虚拟机连接MobaXtermMobaXterm软件就是为了让Linux和Windows连接①先打开虚拟机Hadoop100，Hadoop101，Hadoop102②打开MobaXterm③填入虚拟机IP地址，点击OK左侧将会出现这个（以后再进入，双击打开）连接成功标志...

2021-12-07 18:40:06 141

原创 Hadoop环境搭建(6)--克隆虚拟机

一定先把被克隆的虚拟机关机，右键单我的计算机（CentOS），选择克隆将虚拟机克隆两次分别将Hadoop（1）中的内容重新修改一遍注意：IP地址要改成不同的例如：主机名1——Hadoop100 IP地址——192.168.1.100 主机名2——Hadoop101 IP地址——192.168.1.101 主机名3——Hadoop102 IP地址——192.168.1.102 ...

2021-12-07 18:00:14 465

原创 Hadoop环境搭建（1）

一、在已安装的虚拟机上面进行修改（以CentOS 7为例）①修改主机名查看自己主机名，命令hostname第一种修改主机名方法，命令vi /etc/hostname第二种修改主机名方法，命令hostnamectl set -hostname 自定义主机名更改完主机名以后一定要重启虚拟机，命令reboot -h now②修改虚拟机的IP地址，命令vi /etc/sysconfig/network-scripts/ifcfg-ens33进入之后如.

2021-12-07 15:47:38 604 3

m0_56841551的博客