小小宇30-CSDN博客

原创 hadoop防火墙的各项命令

查看当前防火墙状态 systemctl status firewalld service iptables status 关闭当前防火墙 systemctl stop firewalld service iptables stop 开机防火墙不启动 systemctl disable firewalld chkconfig iptables off 4:重启防火墙 systemctl enable firewalld service iptables restart ———————..

2021-12-12 15:27:37 1902

原创 MySQL安装

1、下载软件包：mysql-8.0.15-1.el7.x86_64.rpm-bundle.tar和mysql-connector-java-8.0.15.zip文件。 2、将软件包通过moba上传到linux系统。/usr/local/soft/ 3、解压软件包 tar -xvf mysql-8.0.15-1.el7.x86_64.rpm-bundle.tar 4、卸载系统自带mariadb rpm -qa | grep mariadb yum -y remove mariadb-.

2021-12-12 14:41:47 140

原创 hadoop hive 搭建的其他方法

Hive搭建 1）将apache-hive-3.1.2-bin.tar.gz压缩包放在/opt/software路径下 2）、[root@hadoop100 ~]# cd /opt/software 3）、解压apache-hive-3.1.2-bin.tar.gz到/opt/module/路径下 [root@hadoop100 software]# tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/module/ 4）、进入解压之后的apa.

2021-12-12 14:38:53 980

原创 hive搭建方法

1、MySql安装 1）检查当前系统是否安装过Mysql [soft863@hadoop102 ~]$ rpm -qa|grep mariadb mariadb-libs-5.5.56-2.el7.x86_64 //如果存在通过如下命令卸载 [soft863 @hadoop102 ~]$ rpm -e --nodeps mariadb-libs //用此命令卸载mariadb 2）将MySQL安装包拷贝到/opt/software目录下 [soft863@hadoop102 softw...

2021-12-12 14:34:01 673

原创 hadoop jdk配置

在/opt文件下分别创建两个文件夹（software和module）命令： mkdir /opt/software mkdir /opt/module 注：software里面存放我们解压前的文件 module里面存放我们解压后的文件解压jdk到module文件夹中需要切换到software 文件夹下命令：cd /opt/software 解压文件命令：tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/ 解压hadoop到modu.

2021-12-12 14:23:14 1051

原创 mysql的下载安装

下载mysql https://dev.mysql.com/downloads/mysql/5.7.html#downloads 将其上传到linux下/opt/software中将其解压到/opt/module下命令为： tar -xf 要解压的文件 -C 要解压的位置安装对应的rpm文件如果报问题： 1.获取插件：yum install -y libaio 2.执行命令： sudo rpm -ivh --nodeps mysql-community-com..

2021-12-12 14:21:14 565

原创伪分布式搭建

HDFS是进行存储的，YARN是进行调度的。切换到hadoop下面的etc（配置文件都在etc下面）在hadoop中配置core-site.xml Vi core-site.xml 指定HDFS中namenode的地址。将命令放到configuration标签中 <configuration>  <property> <name>fs.defaultFS</name> ...

2021-12-12 14:18:24 45

原创 Hadoop的伪分布式部署

配置集群环境（1）修改第一个配置在/opt/module/hadoop-3.1.3/etc/hadoop目录下设置hadoop-env.sh文件 Vi hadoop-env.sh 命令模式下输入/搜索JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_212 （2）修改第二个配置在/opt/module/hadoop-3.1.3/etc/hadoop目录下设置core-site.xml文件 Vi core-site.xml.

2021-12-12 14:15:52 892

原创修改IP地址和主机名

安装虚拟机（CentOS）修改主机名（当前虚拟机的主机名）查看当前的主机名命令：hostname 修改主机名命令：vi /etc/hostname （1）一定要在vi的命令模式下（在编辑模式下按esc键） :wq保存退出 :wq!强制保存退出 :q退出 :q!强制退出（2）编辑模式下：i当前光标所在的位置。启动-- 命令：reboot -h now 补充：第二种修改主机名的方式 Hostnamectl set -hostname <自己编写的主机名> Bash

2021-12-12 14:11:56 1860

原创 hadoop完全分布搭建

Hadoop完全分布式模式集群配置注意：NameNode和SecondaryNameNode不要安装在同一台服务器（2NN备份元数据的，如果放在一台机器上，机器宕机元数据就拿不到）注意：ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。 hadoop100 hadoop101 hadoop102 HDFS

2021-12-11 17:28:58 107

weixin_64967278的博客