大数据学习总结------在VMware下搭建（hadoop+spark+hbase+hive+zookeeper+kafka+flume）

最新推荐文章于 2023-07-05 22:53:52 发布
最新推荐文章于 2023-07-05 22:53:52 发布
阅读量1.1k 收藏 17
点赞数 1
文章标签： hadoop centos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32586857/article/details/106059949
版权

大数据学习总结------在VMware下基于Centos7搭建（hadoop+spark+flink+hbase+mysql+hive+zookeeper+kafka+flume+sqoop）集群

准备环境

VMware Workstation,CentOS-7,hadoop-2.7.7, jdk-1.8, flink-1.9, flume-1.8,
hive-2.3, hbase-2.2, kafka-2.12, mysql-5.7, mysql-connector-java-5.1, scala-2.12,
spark-2.4, zookeeper-3.4 sqoop-1.4

系统安装-软件选择

我选择了基本环境-开发及生成工作站，附加选项：附加开发，开发工具，大系统性能，平台开发，python

创建管理集群的用户

安装完系统后创建管理集群的用户

adduser hadoop(用户名)
passwd 密码

统一所有节点的用户名。

切换到root用户，在/etc/sudoers文件里修改
## Allow root to run any commands anywher

root ALL=(ALL) ALL

hadoop ALL=(ALL) ALL #hadoop是新增用户名

用于赋予新创建用户root权限

关闭防火墙

关闭防火墙为了节点之的通信正常，对外设有一个不关闭防火墙的服务器，用此服务器访问集群。
关闭当前防火墙命令：systemctl stop firewalld.service
永久关闭防火墙命令：systemctl disable firewalld.service

节点的时间同步

所有节点：
启动服务：systemctl start ntpd.service
设置开机启动：systemctl enable ntpd.service

主节点（作为ntpserver，同步外网时间）:
vi /etc/ntp.conf
在restrict ::1下一行添加restrct 192.168.xxx.0 mask 255.255.255.0 (xxx根据自身的IP地址来填)
重启ntpd服务systemctl restart ntpd
查看状态ntpstat

分节点：
vi /etc/ntp.conf
添加一行并注释四行:
server 192.168.0.104
# server 0.centos.pool.ntp.org iburst
# server 1.centos.pool.ntp.org iburst
# server 2.centos.pool.ntp.org iburst
# server 3.centos.pool.ntp.org iburst

重启ntpd服务systemctl restart ntpd
查看状态ntpstat
需等待十分钟左右，查看状态：
成功同步主节点时间
则成功

设置静态IP地址

首先需要知道VMware的一些设置
点击编辑–虚拟网络编辑器–VMnet8需要设置为NAT模式，点开DHCP设置记下子网IP,子网掩码，起始IP地址，结束IP地址
点开NAT设置记下网关IP
在这里插入图片描述
回到虚拟机，操作所有节点：
vi /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE=“Ethernet”
PROXY_METHOD=“none”
BROWSER_ONLY=“no”
BOOTPROTO=“static” #从dhcp改为static
DEFROUTE=“yes”
IPV4_FAILURE_FATAL=“no”
IPV6INIT=“yes”
IPV6_AUTOCONF=“yes”
IPV6_DEFROUTE=“yes”
IPV6_FAILURE_FATAL=“no”
IPV6_ADDR_GEN_MODE=“stable-privacy”
NAME=“ens33”
UUID=“a2a3e231-ee32-4871-acc2-1177ee9aec2b”
DEVICE=“ens33”
ONBOOT=“yes”
#添加内容
IPADDR=192.168.50.152 #自定义IP地址，在起始到结束中选择个没被占用的
GATEWAY=192.168.50.2 #网关IP
NEMASK=255.255.255.0 #子网掩码
DNS1=192.168.50.2 #跟网关IP一样

更改主机名和与IP地址做映射

更改主机名
vi /etc/hostname
修改为要改的主机名

映射
vi /etc/hosts
IP地址 主机名
IP地址 主机名
IP地址 主机名
所有节点都要填写

重启系统reboot

设置ssh无密码登录

所有节点：
切换到新用户
生成公钥和私钥：ssh-keygen -t rsa ，一直回车到创建成功
将本机公钥分配给所有节点：ssh-copy-id -i 主机名

完成后可以测试：ssh 主机名

创建存放安装包的目录

创建目录mkdir ~/opt

创建存放安装包的目录mkdir ~/opt/file
将所有压缩文件放入file

java的安装与配置

所有节点：
卸载自带的openjdk

切换到root用户
查看已安装的jdk：rpm -qa | grep java
将所有包含openjdk的文件删除：rpm -e --nodeps 文件名

切换到新用户
创建java存放路径mkdir /home/hadoop/opt/java
解压jdk：tar -zxvf /home/hadoop/opt/file/jdk-8u251-linux-x64.tar.gz
将解压出来的文件移动到java目录：mv jdk-1.8.0.251 /home/hadoop/opt/java/jdk-1.8

配置环境变量
vi ~/.bash_profile

# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi

# User specific environment and startup programs

export JAVA_HOME=/home/hadoop/opt/java/jdk-1.8

export PATH=.:${JAVA_HOME}/bin:$PATH

#PATH=$PATH:$HOME/.local/bin:$HOME/bin

#export PATH

使配置文件生效
source ~/.bash_profile

需要对~/.bashrc进行配置，否则每次重启终端都要source ~/.bash_profile
vi ~/.bashrc

# .bashrc

# Source global definitions
if [ -f /etc/bashrc ]; then
        . /etc/bashrc
fi

# Uncomment the following line if you don't like systemctl's auto-paging feature:
# export SYSTEMD_PAGER=

# User specific aliases and functions
source /etc/profile

查看java是否安装成功：java -version

hadoop的安装与配置

创建hadoop存放路径：mkdir ~/opt/hadoop
解压：tar -zxvf ~/opt/file/hadoop-2.7.7.tar.gz
移动且重命名：mv hadoop-2.7.7/ ~/opt/hadoop/hadoop-2.7

配置环境：
vi ~/.bash_profile

export JAVA_HOME=/home/hadoop/opt/java/jdk-1.8

export HADOOP_HOME=/home/hadoop/opt/hadoop/hadoop-2.7

export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

source ~/.bash_profile

切换路径配置hadoop：
cd ~/opt/hadoop/hadoop-2.7/etc/hadoop/
vi core-site.xml

<configuration>

<property>
        <name>fs.default.name</name>
        <value>hdfs://master-01:9000</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/tmp_nds</value>
</property>
<property>
        <name>io.file.buffer.size</name>
        <value>131702</value>
</property>

</configuration>

vi hadoop-env.sh

export JAVA_HOME=/home/hadoop/opt/java/jdk-1.8

vi hdfs-site.xml

<configuration>

        <!-- namenode数据的存放地点-->
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/home/hadoop/opt/hadoop/hadoop-2.7/dfs/name</value>
        </property>
        <!-- datanode数据的存放地点-->
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/home/hadoop/opt/hadoop/hadoop-2.7/dfs/data</value>
        </property>
        <!-- hdfs的副本数设置-->
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>

        <!-- secondary namenode的http通讯地址-->
        <property>
                <name>dfs.secondary.http.address</name>
                <value>master-01:50090</value>
        </property>
        <property>
        <!-- 开启hdfs的web访问接口-->
                <name>dfs.webhdfs.enabled</name>
                <value>true</value>
        </property>

</configuration>

cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

<configuration>

        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <!-- JobHistory Server ============================================================== -->
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>master-01:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>slave-01:19888</value>
        </property>

</configuration>

vi yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master-01</value>
        </property>
        <property>
                <!--yarn总管理器的IPC通讯地址-->
                <name>yarn.resourcemanager.address</name>
                <value>${yarn.resourcemanager.hostname}:8032</value>
        </property>
        <property>
                <!--yarn总管理器调度程序的IPC通讯地址-->
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>${yarn.resourcemanager.hostname}:8030</value>
        </property>
        <property>
                <!--yarn总管理器的web http通讯地址-->
                <name>yarn.resourcemanager.webapp.address</name>
                <value>${yarn.resourcemanager.hostname}:8088</value>
        </property>
        <property>
                <description>The https adddress of the RM web application.</description>
                <name>yarn.resourcemanager.webapp.https.address</name>
                <value>${yarn.resourcemanager.hostname}:8090</value>
        </property>
        <property>
                <!--yarn总管理器的IPC通讯地址-->
                <value>${yarn.resourcemanager.hostname}:8031</value>
        </property>
        <property>
                <!--yarn总管理器的IPC管理地址-->
                <name>yarn.resourcemanager.admin.address</name>
                <value>${yarn.resourcemanager.hostname}:8033</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.scheduler.maximum-allocation-mb</name>
                <value>2048</value>
                <discription>单个任务可申请最大内存，默认8192MB</discription>
        </property>
        <property>
                <!--容器所占的虚拟内存和物理内存之比。该值指示了虚拟内存的使用可以超过
所分配内存的量
                     。默认值是2.1-->
                <name>yarn.nodemanager.vmem-pmem-ratio</name>
                <value>2.1</value>
        </property>
        <property>
                <name>yarn.nodemanager.resource.memory-mb</name>
                <value>2048</value>
        </property>
        <property>
                <name>yarn.nodemanager.vmem-check-enabled</name>
                <value>false</value>
        </property>

</configuration>

vi slaves

slave-01
slave-02

将配置好的文件传到其它节点：
scp ~/.bash_profile hadoop@slave-01:~/
scp ~/.bash_profile hadoop@slave-02:~/

scp ~/opt/hadoop/ hadoop@slave-01:~/opt/
scp ~/opt/hadoop/ hadoop@slave-02:~/opt/

其他节点节点：
source ~/.bash_profile

检查hadoop环境是否配置好：
hadoop version

初始化：
cd ~/opt/hadoop/hadoop-2.7/bin/
hdfs namenode -format

启动：
cd ~/opt/hadoop/hadoop-2.7/sbin/
start-all.sh

jps
主节点：
27702 ResourceManager
27528 SecondaryNameNode
27979 Jps
27276 NameNode

分节点：
21953 DataNode
22260 Jps
22124 NodeManager

通过网页查看Hadoop启动状态是否成功
IP:50070和IP:8088
在这里插入图片描述
在这里插入图片描述

关闭：
stop-all.sh

安装scala

mkdir ~/opt/scala
tar -zxvf ~/opt/file/scala-2.12.2.tgz
mv scala-2.12.2/ ~/opt/scala/scala-2.12

vi ~/.bash_profile

export JAVA_HOME=/home/hadoop/opt/java/jdk-1.8

export HADOOP_HOME=/home/hadoop/opt/hadoop/hadoop-2.7

export SCALA_HOME=/home/hadoop/opt/scala/scala-2.12

export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${SCALA_HOME}/bin:$PATH

source ~/.bash_profile

scala -version

安装spark

mkdir ~/opt/spark
tar -zxvf ~/opt/file/spark-2.4.5-bin-hadoop2.7.tgz
mv spark-2.4.5-bin-hadoop2.7/ ~/opt/spark/spark-2.4

vi ~/.bash_profile

export JAVA_HOME=/home/hadoop/opt/java/jdk-1.8

export HADOOP_HOME=/home/hadoop/opt/hadoop/hadoop-2.7

export SCALA_HOME=/home/hadoop/opt/scala/scala-2.12

export SPARK_HOME=/home/hadoop/opt/spark/spark-2.4

export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:$PATH

source ~/.bash_profile

cd ~/opt/spark/spark-2.4/conf/
cp spark-env.sh.template spark-env.sh

vi spark-env.sh

export SCALA_HOME=/home/hadoop/opt/scala/scala-2.12
export JAVA_HOME=/home/hadoop/opt/java/jdk-1.8
export HADOOP_HOME=/home/hadoop/opt/hadoop/hadoop-2.7
export HADOOP_CONF_DIR=/home/hadoop/opt/hadoop/hadoop-2.7/etc/hadoop
export SPARK_HOME=/home/hadoop/opt/spark/spark-2.4
export SPARK_MASTER_IP=192.168.50.152    # (主节点IP)
export SPARK_EXECUTOR_MEMORY=2G

cp slaves.template slaves

vi slaves

slave-01
slave-02

同步到分节点：
scp -r ~/opt/scala hadoop@slave-01:~/opt/
scp -r ~/opt/scala hadoop@slave-02:~/opt/

scp -r ~/opt/spark hadoop@slave-01:~/opt/
scp -r ~/opt/spark hadoop@slave-02:~/opt/

scp ~/.bash_profile hadoop@slave-01:~/
scp ~/.bash_profile hadoop@slave-02:~/

每个分节点：
source ~/.bash_profile

启动spark（前提hadoop已启动）：
cd ~/opt/spark/spark-2.4/sbin/
start-all.sh
在IP:8080看
在这里插入图片描述
stop-all.sh

安装zookeeper

mkdir ~/opt/zookeeper
tar -zxvf ~/opt/file/zookeeper-3.4.14.tar.gz
mv zookeeper-3.4.14/ ~/opt/zookeeper/zookeeper-3.4

vi ~/.bash_profile

export JAVA_HOME=/home/hadoop/opt/java/jdk-1.8

export HADOOP_HOME=/home/hadoop/opt/hadoop/hadoop-2.7

export SCALA_HOME=/home/hadoop/opt/scala/scala-2.12

export SPARK_HOME=/home/hadoop/opt/spark/spark-2.4

export ZOOKEEPER_HOME=/home/hadoop/opt/zookeeper/zookeeper-3.4

export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${ZOOKEEPER_HOME}/bin:$PATH

source ~/.bash_profile

mkdir ~/opt/zookeeper/data
mkdir ~/opt/zookeeper/datalog
cd ~/opt/zookeeper/data
touch myid

vi myid
在myid里面添加1，其余节点添加2,3等，如分节点1添加2，分节点2添加3

1

cd ~/opt/zookeeper/zookeeper-3.4/conf/
cp zoo_sample.cfg zoo.cfg

vi zoo.cfg

The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
# dataDir=/tmp/zookeeper
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1

dataDir=~/opt/zookeeper/data
dataLogDir=~/opt/zookeeper/datalog
server.1=192.168.50.152:2888:3888
server.2=192.168.50.153:2888:3888
server.3=192.168.50.154:2888:3888

同步信息到所有节点：
scp ~/.bash_profile hadoop@slave-01:~/
scp ~/.bash_profile hadoop@slave-02:~/
scp -r ~/opt/zookeeper hadoop@slave-01:~/opt/
scp -r ~/opt/zookeeper hadoop@slave-02:~/opt/
分节点：
source ~/.bash_profile
修改myid文件

启动zookeeper：
所有节点：
cd ~/opt/zookeeper/zookeeper-3.4/bin/

启动zookeeper：
zkServer.sh start

查看zookeeper状态（全启动后至少有一个leader，其余都是follower）：
zkServer.sh status

结束zookeeper：
zkServer.sh stop

flink安装

mkdir ~/opt/flink
tar -zxvf ~/opt/file/flink-1.9.3-bin-scala_2.12.tgz
mv flink-1.9.3/ ~/opt/flink/flink-1.9/

cd ~/opt/flink/flink-1.9/conf
vi ~/.bash_profile

export JAVA_HOME=/home/hadoop/opt/java/jdk-1.8

export HADOOP_HOME=/home/hadoop/opt/hadoop/hadoop-2.7

export SCALA_HOME=/home/hadoop/opt/scala/scala-2.12

export SPARK_HOME=/home/hadoop/opt/spark/spark-2.4

export ZOOKEEPER_HOME=/home/hadoop/opt/zookeeper/zookeeper-3.4

export FLINK_HOME=/home/hadoop/opt/flink/flink-1.9

export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${ZOOKEEPER_HOME}/bin:${FLINK_HOME}/bin:$PATH

source ~/.bash_profile

vi masters

master-01:8081

vi slaves

slave-01
slave-02

vi flink-conf.yaml
修改：

taskmanager.numberOfTaskSlots：2
jobmanager.rpc.address: master-01

同步到分节点：
scp -r ~/opt/flink/ hadoop@slave-01:~/opt/
scp -r ~/opt/flink/ hadoop@slave-02:~/opt/

scp ~/.bash_profile hadoop@slave-01:~/
scp ~/.bash_profile hadoop@slave-02:~/
分节点：
source ~/.bash_profile

cd ~/opt/flink/flink-1.9/bin/
运行flink：
start-cluster.sh
jps
主节点

38850 StandaloneSessionClusterEntrypoint
38919 Jps

分节点

30984 TaskManagerRunner
31048 Jps

在这里插入图片描述

结束flink：
stop-cluster.sh

安装hbase

mkdir ~/opt/hbase
tar -zxvf ~/opt/file/hbase-2.2.4-bin.tar.gz
mv hbase-2.2.4/ ~/opt/hbase/hbase-2.2

vi ~/.bash_profile

export JAVA_HOME=/home/hadoop/opt/java/jdk-1.8

export HADOOP_HOME=/home/hadoop/opt/hadoop/hadoop-2.7

export SCALA_HOME=/home/hadoop/opt/scala/scala-2.12

export SPARK_HOME=/home/hadoop/opt/spark/spark-2.4

export ZOOKEEPER_HOME=/home/hadoop/opt/zookeeper/zookeeper-3.4

export FLINK_HOME=/home/hadoop/opt/flink/flink-1.9

export HBASE_HOME=/home/hadoop/opt/hbase/hbase-2.2

export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${ZOOKEEPER_HOME}/bin:${FLINK_HOME}/bin:${HBASE_HOME}/bin:$PATH

source ~/.bash_profile

cd ~/opt/hbase/hbase-2.2/conf/

vi hbase-env.sh

export JAVA_HOME=/home/hadoop/opt/java/jdk-1.8
export HADOOP_HOME=/home/hadoop/opt/hadoop/hadoop-2.7
export HBASE_HOME=/home/hadoop/opt/hbase/hbase-2.2
export HBASE_CLASSPATH=/home/hadoop/opt/hadoop/hadoop-2.7/etc/hadoop
export HBASE_PID_DIR=/home/hadoop/opt/hbase/pids
export HBASE_MANAGES_ZK=false

vi hbase-site.xml

        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://master-01:9000/hbase</value>
                <description>The directory shared byregion servers.</description>
        </property>
                <!-- hbase端口 -->
        <property>
                <name>hbase.zookeeper.property.clientPort</name>
                <value>2181</value>
        </property>
                <!-- 超时时间 -->
        <property>
                <name>zookeeper.session.timeout</name>
                <value>120000</value>
        </property>
                <!--防止服务器时间不同步出错 -->
        <property>
        <property>
                <name>hbase.master.maxclockskew</name>
                <value>150000</value>
        </property>
                <!-- 集群主机配置 -->
        <property>
                <name>hbase.zookeeper.quorum</name>
                <value>master-01,slave-01,slave-02</value>
        </property>
                <!--   路径存放 -->
        <property>
                <name>hbase.tmp.dir</name>
                <value>/home/hadoop/opt/hbase/tmp</value>
        </property>
                <!-- true表示分布式 -->
        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>
                <!-- 指定master -->
        <property>
                <name>hbase.master</name>
                <value>master-01:60000</value>
        </property>

vi regionservers

slave-01
slave-02

同步配置信息：
scp ~/.bash_profile hadoop@slave-01:~/
scp ~/.bash_profile hadoop@slave-02:~/

scp -r ~/opt/hbase/ hadoop@slave-01:~/opt/
scp -r ~/opt/hbase/ hadoop@slave-02:~/opt/
分节点
source ~/.bash_profile

先启动Hadoop、zookeeper：
启动hbase
cd ~/opt/hbase/hbase-2.2/bin/
start-hbase.sh
查看jps
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
stop-hbase.sh

安装mysql(单节点)

卸载自带mariadb
切换到root用户
rpm -qa | grep mariadb
rpm -e --nodeps 文件名

切换到新用户
mkdir ~/opt/mysql
tar -zxvf ~/opt/file/mysql-5.7.27-linux-glibc2.12-x86_64.tar.gz
mv mysql-5.7.27-linux-glibc2.12-x86_64/ ~/opt/mysql/mysql-5.7

vi ~/.bash_profile

export JAVA_HOME=/home/hadoop/opt/java/jdk-1.8

export HADOOP_HOME=/home/hadoop/opt/hadoop/hadoop-2.7

export SCALA_HOME=/home/hadoop/opt/scala/scala-2.12

export SPARK_HOME=/home/hadoop/opt/spark/spark-2.4

export ZOOKEEPER_HOME=/home/hadoop/opt/zookeeper/zookeeper-3.4

export FLINK_HOME=/home/hadoop/opt/flink/flink-1.9

export HBASE_HOME=/home/hadoop/opt/hbase/hbase-2.2

export MYSQL_HOME=/home/hadoop/opt/mysql/mysql-5.7

export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${ZOOKEEPER_HOME}/bin:${FLINK_HOME}/bin:${HBASE_HOME}/bin:${MYSQL_HOME}/bin:$PATH

source ~/.bash_profile

vi ~/opt/my.conf

#mysql客户端默认字符集
default-character-set=utf8
[mysqld]
#跳过权限表校验
#skip-grant-tables
skip-name-resolve
#设置3306端口
port = 3306
# 设置mysql的安装目录
basedir=/home/hadoop/opt/mysql/mysql-5.7
# 设置mysql数据库的数据的存放目录
datadir=/home/hadoop/opt/mysql/mysql-5.7/data
# 允许最大连接数
max_connections=200
# 服务端使用的字符集默认为8比特编码的latin1字符集
character-set-server=utf8
# 创建新表时将使用的默认存储引擎
default-storage-engine=INNODB
lower_case_table_names=1
max_allowed_packet=16M

mkdir ~/opt/mysql/mysql-5.7/data

创建mysql用户：
cd ~/opt/mysql/mysql-5.7
sudo groupadd mysql
sudo useradd -r -g mysql mysql
sudo chown -R mysql:mysql /home/hadoop/opt/mysql/mysql-5.7/

初始化：
cd ~/opt/mysql/mysql-5.7/bin/
./mysqld --initialize --user=mysql --basedir=/home/hadoop/opt/mysql/mysql-5.7 --datadir=/home/hadoop/opt/mysql/mysql-5.7/data
记录初始密码：
在这里插入图片描述
!fucuF=7g&p5

sudo vi ~/opt/mysql/mysql-5.7/support-files/mysql.server

basedir=/home/hadoop/opt/mysql/mysql-5.7
datadir=/home/hadoop/opt/mysql/mysql-5.7/data

cp -a ~/opt/mysql/mysql-5.7/support-files/mysql.server /etc/init.d/mysqld
cd ~/opt/mysql/mysql-5.7/support-files

开启mysql：
mysql.server start

进入数据库：
mysql -uroot -p
密码

修改密码：
alter user user() identified by “root”;
退出重新登陆

mysql> use mysql;
mysql> update user set host=’%’ where user=‘hadoop’;允许所有ip的主机连接
mysql> GRANT ALL PRIVILEGES ON . TO ‘root’@’%’ IDENTIFIED BY ‘root’ WITH GRANT OPTION;授权远程主机允许连接
mysql> flush privileges;刷新权限

设置开机启动：
sudo chkconfig --add mysqld
sudo chkconfig mysqld on

hive安装(单节点)

mkdir ~/opt/hive
tar -zxvf ~/opt/file/apache-hive-2.3.7-bin.tar.gz
mv apache-hive-2.3.7-bin/ ~/opt/hive/hive-2.3

vi ~/.bash_profile

export HIVE_HOME=/home/hadoop/opt/hive/hive-2.3

export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${ZOOKEEPER_HOME}/bin:${FLINK_HOME}/bin:${HBASE_HOME}/bin:${MYSQL_HOME}/bin:${HIVE_HOME}/bin:$PATH

source ~/.bash_profile

cd ~/opt/hive/hive-2.3/conf/
cp hive-env.sh.template hive-env.sh

vi hive-env.sh

JAVA_HOME=/home/hadoop/opt/java/jdk-1.8
HADOOP_HOME=/home/hadoop/opt/hadoop/hadoop-2.7
HIVE_HOME=/home/hadoop/opt/hive/hive-2.3
export HIVE_CONF_DIR=$HIVE_HOME/conf
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$HADOOP_HOME/lib:$HIVE_HOME/lib

cp hive-default.xml.template hive-site.xml

启动hadoop：
hdfs dfs -mkdir -p ~/user/hive/warehouse
hdfs dfs -chmod -R 777 ~/user/hive/warehouse
hdfs dfs -mkdir -p ~/tmp/hive
hdfs dfs -chmod -R 777 ~/tmp/hive

mkdir ~/opt/hive/hive-2.3/tmp
chmod -R 777 ~/opt/hive/hive-2.3/tmp

复制mysql驱动包
cd ~/opt/file/
tar -zxvf mysql-connector-java-5.1.49.tar.gz
cp ~/opt/file/mysql-connector-java-5.1.49/mysql-connector-java-5.1.49-bin.jar ~/opt/hive/hive-2.3/lib/

cd ~/opt/hive/hive-2.3/conf/

vi hive-site.xml
配置信息比较多
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

初始化：
cd ~/opt/hive/hive-2.3/bin
schematool -initSchema -dbType mysql

启动：
hive

安装flume(hadoop)

mkdir ~/opt/flume
tar -zxvf ~/opt/file/apache-flume-1.8.0-bin.tar.gz
mv apache-flume-1.8.0-bin/ ~/opt/flume/flume-1.8

实现与hadoop交互
cp ~/opt/hadoop/hadoop-2.7/share/hadoop/common/hadoop-common-2.7.7.jar ~/opt/flume/flume-1.8/lib/
cp ~/opt/hadoop/hadoop-2.7/share/hadoop/common/lib/commons-configuration-1.6.jar ~/opt/flume/flume-1.8/lib/
cp ~/opt/hadoop/hadoop-2.7/share/hadoop/common/lib/commons-io-2.4.jar ~/opt/flume/flume-1.8/lib/
cp ~/opt/hadoop/hadoop-2.7/share/hadoop/common/lib/hadoop-auth-2.7.7.jar ~/opt/flume/flume-1.8/lib/
cp ~/opt/hadoop/hadoop-2.7/share/hadoop/hdfs/hadoop-hdfs-2.7.7.jar ~/opt/flume/flume-1.8/lib/
cp ~/opt/hadoop/hadoop-2.7/share/hadoop/hdfs/lib/htrace-core-3.1.0-incubating.jar ~/opt/flume/flume-1.8/lib/

vi ~/.bash_profile

export FLUME_HOME=/home/hadoop/opt/flume/flume-1.8

export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${ZOOKEEPER_HOME}/bin:${FLINK_HOME}/bin:${HBASE_HOME}/bin:${MYSQL_HOME}/bin:${HIVE_HOME}/bin:${FLUME_HOME}/bin:$PATH
source ~/.bash_profile

cd ~/opt/flume/flume-1.8/conf/
cp flume-env.sh.template flume-env.sh

vi flume-env.sh

export JAVA_HOME=/home/hadoop/opt/java/jdk-1.8

安装kafka

mkdir ~/opt/kafka
tar -zxvf ~/opt/file/kafka_2.12-2.4.1.tgz
mv kafka_2.12-2.4.1/ ~/opt/kafka/kafka-2.4

vi ~/.bash_profile

export KAFKA_HOME=/home/hadoop/opt/kafka/kafka-2.4

export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${ZOOKEEPER_HOME}/bin:${FLINK_HOME}/bin:${HBASE_HOME}/bin:${MYSQL_HOME}/bin:${HIVE_HOME}/bin:${FLUME_HOME}/bin:${KAFKA_HOME}/bin:$PATH

source ~/.bash_profile

cd ~/opt/kafka/kafka-2.4/config/
vi server.properties

在这里插入图片描述
在这里插入图片描述

broker.id的值在同步给分节点后要要变成broker.id=2；broker.id=3

同步到分节点：
scp ~/opt/kafka hadoop@slave-01:~/opt/
scp ~/opt/kafka hadoop@slave-02:~/opt/

scp ~/.bash_profile hadoop@slave-01:~/
scp ~/.bash_profile hadoop@slave-02:~/

source ~/.bash_profile

所有节点：
cd ~/opt/kafka/kafka-2.4/
./bin/kafka-server-start.sh -daemon config/server.properties

jps
主节点
4896 QuorumPeerMain
7891 Kafka
4388 SecondaryNameNode
4566 ResourceManager
7994 Jps
4127 NameNode

分节点：
51248 Kafka
46551 QuorumPeerMain
46121 DataNode
51323 Jps
46255 NodeManager

测试：
主节点：
./bin/kafka-topics.sh --create --zookeeper master-01:2181,slave-01:2181,slave-02:2181 --replication-factor 3 --partitions 3 --topic test-01
分节点：
./bin/kafka-topics.sh --list --zookeeper localhost:2181
看到主创建的文件
启动生产者
./bin/kafka-console-producer.sh --broker-list master-01:9092,slave-01:9092,slave-02:9092 --topic test-01
别的节点的查看：
./bin/kafka-console-consumer.sh --bootstrap-server master-01:9092,slave-01:9092,slave-02:9092 --from-beginning --topic test-01
之后可在别的节点看到主节点输入的信息

安装sqoop

mkdir ~/opt/sqoop
tar -zxvf ~/opt/file/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
mv sqoop-1.4.7.bin__hadoop-2.6.0/ ~/opt/sqoop/sqoop-1.4

vi ~/.bash_profile

export SQOOP_HOME=/home/hadoop/opt/sqoop/sqoop-1.4

export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${ZOOKEEPER_HOME}/bin:${FLINK_HOME}/bin:${HBASE_HOME}/bin:${MYSQL_HOME}/bin:${HIVE_HOME}/bin:${FLUME_HOME}/bin:${KAFKA_HOME}/bin:${SQOOP_HOME}/bin:$PATH

source ~/.bash_profile

cd ~/opt/sqoop/sqoop-1.4/conf

cp sqoop-env-template.sh sqoop-env.sh
vi sqoop-env.sh

在这里插入图片描述
将mysql-connect包的jar复制到sqoop的lib，如果没有解压请解压
mv ~/opt/file/mysql-connector-java-5.1.49/mysql-connector-java-5.1.49.jar ~/opt/sqoop/sqoop-1.4/lib

查看sqoop版本是否安装好：
sqoop version

与mysql的联通:
cd ~/opt/sqoop/sqoop-1.4/bin

./sqoop-list-databases --connect jdbc:mysql://master-01:3306 --username root --password root
username是mysql的用户名，password是mysql的密码

可以看到mysql数据库，成功！

Frozenking95
关注
Centos7下搭建大数据处理集群（Hadoop+Spark+Hbase+Hive+Zookeeper+Kafka+Flume）详细步骤
风尘子曰
12-12 2865
一.目录 二.集群规划 三.虚拟机准备及基础配置设置 四.Hadoop 4.1安装Hadoop 4.1.1上传解压安装包 1.创建软件安装包上传目录/opt/package,Hadoop安装目录/opt/hadoop [root@hp1 opt]# mkdir package [root@hp1 opt]# mkdir hadoop 2.将下载好的Hadoop安装包上传到/opt/package...
大数据学习--kafka+flume++sqoop+hadoop+zookeeper+spark+flink
ssdsadsa的博客
02-15 494
Flume对数据写入HDFS更专业并且有数据的预处理与分类实时数据写入的该控制，但是它对单个管道的数据并不友好，如果管道出现了问题那么这条链路的数据必须停下。现阶段技术上的应用主要是spark对于mapreduce 的技术升级，线程+数据放入内存+数据共享来优化数据需要在原生hadoop上多次mapreduce计算的磁盘 多次IO，根据业务逻辑的是否复杂是否需要机器学习等多方面考虑是否需要 haddop+spark联合使用。不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。
Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署
06-22
1、内容概要：Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+Elasticsearch+Redash等大数据集群及组件搭建指南（详细搭建步骤+实践过程问题总结）。 2、适合人群：大数据运维、大数据相关技术及组件初学者。 3、能学到啥：大数据集群及相关组件搭建的详细步骤，了解大数据各组件的用途，深入认识各大数据组件工作原理及优化方案。 4、阅读建议：使用过以上大数据组件进行简单开发、了解以上大数据组件的相关功能。 5、资源价值：大数据组件搭建的详细实践步骤、一次性提供较全面的常用大数据集群及组件安装部署内容、资源是博主结合官网文档+网上各类搭建文档+本人亲自实践后总结整合的文档（包括过程踩坑记录+对应解决方案）。
大数据环境搭建步骤详解（Hadoop，Hive，Zookeeper，Kafka，Flume，Hbase，Spark等安装与配置）
热门推荐
pig2guang的博客
01-02 3万+
基本配置 系统：CentOS7.6 节点信息： 节点 ip master 192.168.185.150 slave1 192.168.185.151 slave2 192.168.185.152 网络配置 # 注意：centos自从7版本以后网卡名变成ens33而不是我这里的eth0了，我是习惯eth0了所以在安装的时候修改了网卡名，如果你的centos网卡名是e...
使用虚拟机搭建Hadoop集群的步骤及出现问题总结
解忧小店
06-07 2576
虚拟机搭建hadoop集群
Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆级超详细含图文)
最新发布
Mr.L-OAM的博客
07-05 2万+
Hadoop+Spark+Flink+Zookeeper+Kafka+Hbase+Hive完全分布式高可用集群搭建 Hadoop高可用集群搭建 Spark高可用集群搭建 Flink高可用集群搭建 Zookeeper高可用集群搭建 Kafka高可用集群搭建 Hbase高可用集群搭建 Hive高可用集群搭建 mysql搭建 jdk部署 大数据集群环境搭建
Hadoop+Hive+Spark+Kafka+Zookeeper+Flume+Sqoop+Azkaban+Scala
05-05
大数据学习路线 大数据技术栈思维导图 大数据常用软件安装指南 一、Hadoop 分布式文件存储系统：HDFS 分布式计算框架：MapReduce 集群资源管理器：YARN 单机伪集群环境搭建 集群环境搭建 常用 Shell 命令 Java API ...
大数据学习之路 Hadoop篇（一）：超简单的虚拟机搭建Hadoop+Hive+Spark+HBase环境
GodxvA
03-14 4727
这么长时间没有写博客，期间也发生了很多事情，我也一不小心从萌萌的开发变成了萌萌的数据。 我在写这篇博客的时候还是数据方面的初学者，一来可以回顾总结自己最近学习的内容，督促自己更快更仔细的学习；二来可以为和我一样的初学者提供方便，不必花很多精力去找一些资源和技巧或者环境的搭建，而是专注于知识的学习。 工欲善其事，必先利其器。要想学好大数据，得先有大数据方面的环境。我看过网上很多搭建的教程，自己一...
大数据集群搭建：安装部署MySQL、SQL Server、Zookeeper、Hadoop、Spark、Flink、Kafka、Kettle、Airflow、Flume、Zeppelin集群
zhengzaifeidelushang的博客
12-18 1367
大数据集群搭建：安装部署mysql、sqlserver、Zookeeper、Hadoop、Spark、Flink、Kafka、kettle、airflow集群 文章分类 链接 大数据集群环境搭建 大数据集群环境搭建：Hadoop、Spark、Flink分布式集群环境 mysql5.7 mysql5.7数据库主从同步、双机热备、读写分离高可用集群的实现 mysql5.7 CentOS7离线安装mysql5.7.32 mysql8 CentOS7离线安装mysql-8.0.19
大数据开发超高频面试题！大厂面试必看！包含Hadoop、zookeeper、Hive、flume、kafka、Hbase、flink、spark、数仓等
m0_59737088的博客
08-10 1694
大数据开发面试题 包含Hadoop、zookeeper、Hive、flume、kafka、Hbase、flink、spark、数仓等高频面试题。 数据来自原博主爬虫获取！ Hadoop 一、HDFS文件写入和读取过程 可灵活回答 ： 1）HDFS读写原理（流程） 2）HDFS上传下载流程 3）讲讲（介绍下）HDFS 4）HDFS存储机制 回答这个问题之前，我们先来看下机架感知 机制，也就是HDFS上副本存储结点的选择。 Hadoop3.x副本结点选择： 由上图可知，第一个副本在Client所处的节点上。如
hive 虚拟机安装Hadoop和hive
程志伟的博客
06-09 1496
关注微信公共号：小程在线 关注CSDN博客：程志伟的博客 我在本机上已全部实现，下面是在我自己电脑上的截图 1.虚拟机镜像下载： 要是自己安装linux后再搭建环境可是相当麻烦的，所以我们要找别人已经配好的虚拟机。功夫不负有心人，找了很多资源之后终于找到了好用且免费的虚拟机镜像。 【镜像下载地址】https://pan.baidu.com/s/1kUWaNWz#list/path=%2F（需要安装百度云盘客户端，文件大小是6GB） 【镜像说明】 此镜像是使用VirtualBox虚拟..
大数据生态圈集群搭建汇总--Hadoop & Hive & Spark & Kafka & HBase & Sqoop & Flume
12-18 276
集群搭建集群规划汇总Linux 环境准备Hadoop Ha 集群搭建Yarn 搭建Hive 搭建Spark 搭建Spark Standalone 模式Spark Yarn 模式Kafka 搭建Hbase 搭建Sqoop 搭建Flume 搭建 本文将持续更新… 集群规划汇总 角色 node01 node02 node03 node04...
Hadoop学习笔记（1）基于VMware的hadoop环境搭建笔记
boranyueshijie的博客
01-12 351
一、Vmware16下载 1、在Vmware官网下载 2、下载后，自行安装。点击打开Vmware 二、下载CentOS 7 64位 1、输入CentOS官网地址https://www.centos.org/，并点击下载页面进行下载 2、选择CentOS 7 64位 3、此处我选择下载的是阿里云的 4、下载完成，保存到相应的存放路径即可。 三、创建虚拟机 1、点击新建虚拟机 2、选择典型安装（有些小的功能可以选择自定义安装）。 3、选择稍后安装操作系统（方便后续安装可视化界面） 4、选择已
大数据运行环境全套安装流程。 （hadoop，hive，zookeeper，Hbase）
wznb12138的博客
07-10 1122
1.文件准备 安装基本运行环境，需要用到： hadoop-2.6.0-cdh5.14.2.tar.gz jdk-8u221-linux-x64.tar.gz zookeeper-3.4.6.tar.gz hbase-1.2.0-cdh5.14.2.tar.gz hive-1.1.0-cdh5.14.2.tar.gz MySQL-client-5.6.46-1.el7.x86_64.rpm MySQL-server-5.6.46-1.el7.x86_64.rpm 把以上文件都拖到配置好的虚拟机，在根目录中建一
Spark学习(一)
ice_tream的博客
08-01 396
Spark初识     Apache Spark™是用于大规模数据处理的统一分析引擎。Spark也用于AI人工智能     spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的通用内存并行计算框架，用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的MapReduce计算模型。高效的支撑更多计算模式，包括交互式查询和流处理。spark的一个主要特点是...
大数据Hadoop、Hive、Kafka、Hbase、Spark等框架面经
m0_46689661的博客
12-05 9841
大数据Hadoop、Hive、Kafka、Hbase、Spark等框架面经
大数据集群搭建篇：Hadoop、Spark、ZooKeeper、kafka集群搭建
犇犇
06-07 1131
一、创建虚拟机安装CentOS 1.1、安装CentOS 1、使用课程提供的CentOS 6.5镜像即可，CentOS-6.5-i386-minimal.iso。 2、创建虚拟机：打开Virtual Box，点击“新建”按钮，点击“下一步”，输入虚拟机名称为spark1，选择操作系统为Linux，选择版本为Red Hat，分配1024MB内存，后面的选项全部用默认，在Virtual Disk File location and size中，一定要自己选择一个目录来存放虚拟机文件，最后点击“create”按钮
大数据Hadoop3.1.3——Zookeeper集群分布式搭建
caron的博客
04-24 823
1 分布式安装部署 1）集群规划 在hadoop101、hadoop102和hadoop103三个节点上部署Zookeeper。 2）解压安装 （1）在hadoop101解压Zookeeper安装包到/opt/module/目录下 tar -zxvf zookeeper-3.5.7.tar.gz -C /opt/module/ 3）配置服务器编号 （1）在/opt/module/zookeepe...
Hadoop相关部署二：Hive安装部署
joerong666
01-29 139
1.1  解压缩Hive 将Hive的tar包解压到/opt目录下： tar –zxvf hive-0.7.1-cdh3u3.tar.gz 解压缩后的Hive目录如下： 其中bin目录下是一些可执行的脚本文件，在conf下是相关的配置文件，也是我们要修改的主要地方，lib下是一些相关的jar包，包括mysql的连接包、hbase的包等都会放到lib下。 将Hive的安装路径添加到pat...
hadoop+spark+hive+hbase+oozie+kafka+flume+flink+es+redash等详细安装部署
05-12
Hadoop是一个开源的分布式计算框架，可用于处理大数据集并提供高可靠性，高可用性和高性能。要进行详细的安装部署，需要运行以下步骤： 1. 安装Java：Hadoop基于Java编写，因此需要安装适当的Java版本。 2. 安装...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值