8节点(hadoop+yarn+hbase+storm+kafka+spark+zookeeper)高可用集群详细配置

最新推荐文章于 2024-01-16 10:05:53 发布
最新推荐文章于 2024-01-16 10:05:53 发布
阅读量3k 收藏 8
点赞数 2
分类专栏： ---------【Hadoop】 ◆【大数据】 文章标签： hadoop 配置 高可用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/king123456man/article/details/83686717
版权

配置 hadoop+yarn+hbase+storm+kafka+spark+zookeeper 高可用集群，同时安装相关组建：JDK，MySQL，Hive，Flume

文章目录

环境介绍

节点介绍

  • 虚拟机数量：8 台

  • 操作系统版本：CentOS-7-x86_64-Minimal-1611.iso

每台虚拟机的配置如下：

虚拟机名称CPU核心数内存(G)硬盘(G)网卡
hadoop1281002
hadoop2281002
hadoop3281002
hadoop4281002
hadoop5281002
hadoop6281002
hadoop7281002
hadoop8281002
集群介绍

8节点Hadoop+Yarn+Spark+Hbase+Kafka+Storm+ZooKeeper高可用集群搭建：

集群虚拟机节点
HadoopHA集群hadoop1,hadoop2,hadoop3,hadoop4,hadoop5,hadoop6,hadoop7,hadoop8
YarnHA集群hadoop1,hadoop2,hadoop3,hadoop4,hadoop5,hadoop6,hadoop7,hadoop8
ZooKeeper集群hadoop3,hadoop4,hadoop5
Hbase集群hadoop3,hadoop4,hadoop5,hadoop6,hadoop7
Kafka集群hadoop6,hadoop7,hadoop8
Storm集群hadoop3,hadoop4,hadoop5,hadoop6,hadoop7
SparkHA集群hadooop1,hadoop2,hadoop3,hadoop4,hadoop5,hadoop6,hadoop7,hadoop8

集群详细规划：

虚拟机名称IP安装软件进程功能
hadoop111.11.11.121jdk,hadoop,mysqlNameNode,ResourceManeger,DFSZKFailoverController(zkfc),master(spark)hadoop的NameNode节点,spark的master节点,yarn的ResourceManeger节点
hadoop211.11.11.122jdk,hadoop,sparkNameNode,ResourceManeger,DFSZKFailoverController(zkfc),worker(spark)hadoop(yarn)的容灾节点，spark的容灾节点
hadoop311.11.11.123jdk,hadoop,zookeeper,hbase,storm,sparkDataNode,NodeManager,journalnode,QuorumPeerMain(zk),HMaster,…(storm),worker(spark)storm,hbase,zookeeper的主节点
hadoop411.11.11.124jdk,hadoop,zookeeper,hbase,storm,sparkDataNode,NodeManager,journalnode,QuorumPeerMain(zk),HRegionServer,…(storm),worker(spark)
hadoop511.11.11.125jdk,hadoop,zookeeper,hbase,storm,sparkDataNode,NodeManager,journalnode,QuorumPeerMain(zk),HRegionServer,…(storm),worker(spark)
hadoop611.11.11.126jdk,hadoop,hbase,storm,kafka,sparkDataNode,NodeManager,journalnode,kafka,HRegionServer,…(storm),worker(spark)kafka的主节点
hadoop711.11.11.127jdk,hadoop,hbase,storm,kafka,sparkDataNode,NodeManager,journalnode,kafka,HRegionServer,…(storm),worker(spark)
hadoop811.11.11.128jdk,hadoop,kafka,sparkDataNode,NodeManager,journalnode,kafka,worker(spark)
软件版本介绍

  • JDK版本： jdk-8u65-linux-x64.tar.gz

  • hadoop版本： hadoop-2.7.6.tar.gz

  • zookeeper版本： zookeeper-3.4.12.tar.gz

  • hbase版本： hbase-1.2.6-bin.tar.gz

  • Storm版本： apache-storm-1.1.3.tar.gz

  • kafka版本： kafka_2.11-2.0.0.tgz

  • MySQL版本： mysql-5.6.41-linux-glibc2.12-x86_64.tar.gz

  • hive版本： apache-hive-2.3.3-bin.tar.gz

  • Flume版本： apache-flume-1.8.0-bin.tar.gz

  • Spark版本： spark-2.3.1-bin-hadoop2.7.tgz

前期准备

相关配置

每台主机节点都进行相同设置

新建用户 centos

千万注意：不要在root权限下配置集群

  • 新建 centos 用户组
$> groupadd centos
  • 新建用户 centos，并将该用户添加到用户组 centos
$> useradd centos -g centos
  • 为 centos 用户设置密码
$> passwd centos
添加sudo权限
  • 切换到root用户，修改 /etc/sudoers 文件
$> nano /etc/sudoers

添加如下语句：
## Allow root to run any commands anywhere
root    ALL=(ALL)	ALL
centos  ALL=(ALL)	ALL
更改用户名
  • 进入 /etc/hostname 下，将原来的内容删除，添加新的用户名
$> sudo nano /etc/hostname

用户名：hadoop1，hadoop2.....
主机名与IP映射
  • 进入 /etc/hosts，将原来的内容删除，添加主机节点之间的相互映射
$> sudo nano /etc/hosts

添加内容如下：
127.0.0.1       localhost 
11.11.11.121     hadoop1
11.11.11.122   hadoop2
11.11.11.123   hadoop3
11.11.11.124   hadoop4
11.11.11.125  hadoop5
11.11.11.126   hadoop6
11.11.11.127   hadoop7
11.11.11.128   hadoop8
显示当前文件的绝对路径

命令：pwd。形如 ~ 转换为 /home/centos。方便确定当前文件的路径

  • 进入 /etc/profile 中进行配置
[centos@hadoop1 ~]$ sudo nano /etc/profile

在末尾添加：
export PS1='[\u@\h `pwd`]\$'

// source /etc/profile 马上生效
[centos@hadoop1 /home/centos]$
ssh免密登录

hadoop1 和 hadoop2 是容灾节点(解决单点故障问题)，所以这两个主机除了能互相访问之外，还需要登录其他主机节点，可以免密登录

  • 检查是否安装了ssh相关软件包(openssh-server + openssh-clients + openssh)
[centos@hadoop1 /home/centos]$ yum list installed | grep ssh
  • 检查是否启动了sshd进程
[centos@hadoop1 /home/centos]$ ps -Af | grep sshd
  • 在hadoop1~hadoop8主机节点的 ~(/home/centos) 目录下创建 .ssh 文件目录，并修改权限
[centos@hadoop1 /home/centos]$ mkdir .ssh
[centos@hadoop1 /home/centos]$ chmod 700 ~/.ssh
  • 在hadoop1主机上生成秘钥对，追加公钥到~/.ssh/authorized_keys文件中，并修改authorized_keys文件的权限为644(centos系统)
//生成秘钥对
[centos@hadoop1 /home/centos]$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

//进入 ~/.ssh 文件夹下
[centos@hadoop1 /home/centos]$ cd ~/.ssh

//追加公钥到~/.ssh/authorized_keys文件中
[centos@hadoop1 /home/centos/.ssh]$ cat id_rsa.pub >> authorized_keys

// 修改authorized_keys文件的权限为644
[centos@hadoop1 /home/centos/.ssh]$ chmod 644 authorized_keys

//为其他主机添加公钥
[centos@hadoop1 /home/centos]$ ssh-copy-id hadoop?

// 下面的操作可省略
  • 将hadoop1的公钥文件id_rsa.pub远程复制给其他7台主机节点，并放置在/home/centos/.ssh/authorized_keys下
//重名名
[centos@hadoop2 /home/centos/.ssh]$ mv id_rsa.pub id_rsa_hadoop1.pub

[centos@hadoop1 /home/centos/.ssh]$ scp id_rsa_hadoop1.pub centos@hadoop2:/home/centos/.ssh/authorized_keys
[centos@hadoop1 /home/centos/.ssh]$ scp id_rsa_hadoop1.pub centos@hadoop3:/home/centos/.ssh/authorized_keys
[centos@hadoop1 /home/centos/.ssh]$ scp id_rsa_hadoop1.pub centos@hadoop4:/home/centos/.ssh/authorized_keys
[centos@hadoop1 /home/centos/.ssh]$ scp id_rsa_hadoop1.pub centos@hadoop5:/home/centos/.ssh/authorized_keys
[centos@hadoop1 /home/centos/.ssh]$ scp id_rsa_hadoop1.pub centos@hadoop6:/home/centos/.ssh/authorized_keys
[centos@hadoop1 /home/centos/.ssh]$ scp id_rsa_hadoop1.pub centos@hadoop7:/home/centos/.ssh/authorized_keys
[centos@hadoop1 /home/centos/.ssh]$ scp id_rsa_hadoop1.pub centos@hadoop8:/home/centos/.ssh/authorized_keys
  • 在hadoop2主机上生成秘钥对。为了与hadoop1的公钥区分，重命名为 id_rsa_hadoop2.pub。追加公钥到~/.ssh/authorized_keys文件中，并分发给其他7台主机节点
//生成秘钥对
[centos@hadoop2 /home/centos]$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

//重名名
[centos@hadoop2 /home/centos/.ssh]$ mv id_rsa.pub id_rsa_hadoop2.pub

//追加公钥到~/.ssh/authorized_keys文件中
[centos@hadoop1 /home/centos/.ssh]$ cat id_rsa_hadoop2.pub >> authorized_keys

//将authorized_keys分发给其他节点
[centos@hadoop1 /home/centos/.ssh]$ scp authorized_keys centos@hadoop:/home/centos/.ssh/

... 分发给其他节点
关闭防火墙

为了保证集群正常启动，先要关闭各台主机的防火墙，一些命令如下：

[cnetos 6.5之前的版本]
$>sudo service firewalld stop		//停止服务
$>sudo service firewalld start		//启动服务
$>sudo service firewalld status		//查看状态

[centos7]
$>sudo systemctl enable firewalld.service	//"开机启动"启用
$>sudo systemctl disable firewalld.service	//"开机自启"禁用
$>sudo systemctl start firewalld.service	//启动防火墙
$>sudo systemctl stop firewalld.service		//停止防火墙
$>sudo systemctl status firewalld.service	//查看防火墙状态

[开机自启]
$>sudo chkconfig firewalld	on				//"开启自启"启用
$>sudo chkconfig firewalld	off				//"开启自启"禁用
两个批处理脚本

提示：为了全局可用，脚本都放在 /usr/local/bin 目录下。只在hadoop1和hadoop2节点配置

//以本地用户身份创建xcall.sh
$>touch ~/xcall.sh       //centos

//将其复制到 /usr/local/bin 目录下
$>sudo mv xcall.sh /usr/local/bin

//修改权限
$>sudo chmod a+x xcall.sh

//添加脚本
$>sudo nano xcall.sh
批分发指令脚本(xcall.sh)
#!/bin/bash

params=$@
i=1
for (( i=1 ; i <= 8 ; i = $i + 1 )) ; do
    echo ============= s$i $params =============
    ssh hadoop$i "$params"
done
批同步脚本(xsync.sh)：类似于 scp 指令
#!/bin/bash

if [[ $# -lt 1 ]] ; then echo no params ; exit ; fi

p=$1
#echo p=$p
dir=`dirname $p`
#echo dir=$dir
filename=`basename $p`
#echo filename=$filename
cd $dir
fullpath=`pwd -P .`
#echo fullpath=$fullpath

user=`whoami`
for (( i = 1 ; i <= 8 ; i = $i + 1 )) ; do
   echo ======= hadoop$i =======
   rsync -lr $p ${user}@hadoop$i:$fullpath
done ;

集群环境搭建

安装JDK

  • 准备JDK：jdk-8u65-linux-x64.tar.gz，将其上传到主机hadoop1的 /home/centos/localsoft 目录下，该目录用于存放所有需要安装的软件安装包

  • 在根目录下(/)新建一个 soft 文件夹，并将该文件夹的用户组权限和用户权限改为 centos，该文件夹下为所有需要安装的软件

//创建soft文件夹
[centos@hadoop1 /home/centos]$ sudo mkdir /soft

//修改权限(centosmin0是自己的本机用户名)
[centos@hadoop1 /home/centos]$ sudo chown centos:centos /soft
  • 解压 jdk-8u65-linux-x64.tar.gz 到 /soft 目录下，并创建符号链接
// 从 /home/centos/localsoft 下解压到 /soft
[centos@hadoop1 /home/centos/localsoft]$ tar -xzvf jdk-8u65-linux-x64.tar.gz -C /soft

// 创建符号链接
[centos@hadoop1 /soft]$ ln -s /soft/jdk1.8.0_65 jdk
  • 在 /etc/profile 文件中配置环境变量，同时 source /etc/profile，使其立即生效
// 进入profile
[centos@hadoop1 /home/centos]$ sudo nano /etc/profile

// 环境变量
# jdk
export JAVA_HOME=/soft/jdk
export PATH=$PATH:$JAVA_HOME/bin

// source 立即生效
[centos@hadoop1 /home/centos]$ source /etc/profile
  • 检验是否安装配置成功
[centos@hadoop1 /home/centos]$ java -version

// 显示如下
java version "1.8.0_65"
Java(TM) SE Runtime Environment (build 1.8.0_65-b17)
Java HotSpot(TM) 64-Bit Server VM (build 25.65-b01, mixed mode)
  • 按照以上步骤配置其他主句(hadoop2~hadoop8)：可以使用批分发指令(xsync.sh分发文件给其他7台主机节点)
Hadoop安装配置(手动HA搭建)
1. hadoop安装配置
  • 准备hadoop：hadoop-2.7.6.tar.gz，解压到 /soft 目录下，创建符号链接
// 从 /home/centos/localsoft 下解压到 /soft
[centos@hadoop1 /home/centos/localsoft]$ tar -xzvf hadoop-2.7.6.tar.gz -C /soft

// 创建符号链接
[centos@hadoop1 /soft]$ ln -s /soft/hadoop-2.7.6 hadoop
  • 在 /etc/profile 下配置环境变量，source /etc/profile 立即生效，使用 hadoop version 检测是否安装成功
// 进入profile
[centos@hadoop1 /home/centos]$ sudo nano /etc/profile

// 环境变量
# hadoop
export HADOOP_HOME=/soft/hadoop
export PATH=$PATH:$HADOOP_HOME/bin/:$HADOOP_HOME/sbin

// source 立即生效
[centos@hadoop1 /home/centos]$ source /etc/profilea

// 检测是否安装成功
[centos@hadoop1 /home/centos]$ hadoop version

显示如下：
Hadoop 2.7.6
Subversion https://shv@git-wip-us.apache.org/repos/asf/hadoop.git -r 085099c66cf28be31604560c376fa282e69282b8
Compiled by kshvachk on 2018-04-18T01:33Z
Compiled with protoc 2.5.0
From source with checksum 71e2695531cb3360ab74598755d036
This command was run using /soft/hadoop-2.7.6/share/hadoop/common/hadoop-common-2.7.6.jar

提示： 现在的操作在hadoop1节点上，先不用在其他节点进行安装配置，等后续配置结束后再一起将配置传给其他节点，能大大节省工作量。

2. hadoop手动NameNode HA搭建

基于hadoop的原生NameNode HA搭建，后面会与zookeeper集群进行整合，实现自动容灾(Yarn+NameNode)

  • 进入 /soft/hadoop/etc 目录，复制 hadoop 文件为：full，ha，pesudo，并创建指向ha的符号链接hadoop
[centos@hadoop1 /soft/hadoop/etc]$ cp hadoop ha
[centos@hadoop1 /soft/hadoop/etc]$ cp hadoop full
[centos@hadoop1 /soft/hadoop/etc]$ cp hadoop pesudo

// 创建符号链接
[centos@hadoop1 /soft/hadoop/etc]$ ln -s /soft/hadoop/etc/ha hadoop
  • 进入 ha 目录下配置4个文件：core-site.xml；hdfs-site.xml；mapred-site.xml；yarn-site.xml

[core-site.xml]

<configuration>
     <property>
	   <name>fs.defaultFS</name>
	   <value>hdfs://mycluster</value>
     </property>
     <!--- 配置新的本地目录 -->
     <property>
	   <name>hadoop.tmp.dir</name>
	   <value>/home/centos/hadoop</value>
     </property>

     <property>
        <name>ipc.client.connect.max.retries</name>
	   <value>20</value>
     </property>

    <property>
	   <name>ipc.client.connect.retry.interval</name>
 	   <value>5000</value>
     </property>
</configuration>

[hdfs-site.xml]

<configuration>
	<!-- 配置nameservice -->
<property>
	<name>dfs.nameservices</name>
	<value>mycluster</value>
</property>

<!-- myucluster下的名称节点两个id -->
<property>
	<name>dfs.ha.namenodes.mycluster</name>
	<value>nn1,nn2</value>
</property>

<!-- 配置每个nn的rpc地址 -->
<property>
	<name>dfs.namenode.rpc-address.mycluster.nn1</name>
	<value>hadoop1:8020</value>
</property>
<property>
	<name>dfs.namenode.rpc-address.mycluster.nn2</name>
	<value>hadoop2:8020</value>
</property>

<!-- 配置webui端口 -->
<property>
	<name>dfs.namenode.http-address.mycluster.nn1</name>
	<value>hadoop1:50070</value>
</property>
<property>
	<name>dfs.namenode.http-address.mycluster.nn2</name>
	<value>hadoop2:50070</value>
</property>

<!-- 名称节点共享编辑目录 -->
<property>
	<name>dfs.namenode.shared.edits.dir</name>
	<value>qjournal://hadoop3:8485;hadoop4:8485;hadoop5:8485;hadoop6:8485;hadoop7:8485;hadoop8:8485/mycluster</value>
</property>

<!-- java类，client使用它判断哪个节点是激活态 -->
<property>
	<name>dfs.client.failover.proxy.provider.mycluster</name>
	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<!-- 脚本列表或者java类，在容灾情况下保护激活态的nn -->
<property>
	<name>dfs.ha.fencing.methods</name>
	<value>sshfence</value>
</property>
<property>
	<name>dfs.ha.fencing.ssh.private-key-files</name>
	<value>/home/centos/.ssh/id_rsa</value>
</property>
	
<!-- 配置JN存放edit的本地路径 -->
<property>
	<name>dfs.journalnode.edits.dir</name>
	<value>/home/centos/hadoop/journal</value>
</property>
</configuration>

[mapred-site.xml]

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

[yarn-site.xml]

<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop1</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>
  • 配置 slaves 文件和修改 hadoop-env.sh中的一个细节
// 配置 DataNode 从属节点
[centos@hadoop1 /soft/hadoop/etc/ha]$ nano slaves

添加如下：
hadoop3
hadoop4
hadoop5
hadoop6
hadoop7
hadoop8

// 修改hadoop-env.sh中的一个细节
// yarn-env.sh, mapred-env.sh 都要修改
[centos@hadoop1 /soft/hadoop/etc/ha]$ nano hadoop-env.sh

将 export JAVA_HOME={JAVA_HOME} 改为 export JAVA_HOME=/soft/jdk
  • 将上面所有的配置都分发给其他7台主机节点
// 批分发
[centos@hadoop1 /soft]$ xsync hadoop-2.7.6

// 将符号链接也分发给其他主机节点
[centos@hadoop1 /soft]$ rsync -lr hadoop centos:/soft/

注意： /etc/profile 配置文件还需每台主机单独配置，配置内容与hadoop1一样

// 环境变量
# hadoop
export HADOOP_HOME=/soft/hadoop
export PATH=$PATH:$HADOOP_HOME/bin/:$HADOOP_HOME/sbin
3. 启动hadoop HA集群进行测试
  • 在jn节点(每个数据节点就是一个jn节点)启动jn进程(hadoop3, hadoop4, hadoop5，hadoop6，hadoop7，hadoop8)
$>hadoop-daemon.sh start journalnode
  • 分别在hadoop1和hadoop2节点上进行数据格式化(两个节点都需要格式化，不然NameNode进程无法启动)
// hadoop1 节点
[centos@hadoop1 /home/centos]$ hadoop namenode -format

// hadoop2 节点
[centos@hadoop2 /home/centos]$ hadoop namenode -format
  • 在一个NN上执行以下命令，完成edit日志到jn节点的传输
[centos@hadoop1 /home/centos]$ hdfs namenode -initializeSharedEdits
  • 启动所有节点
[hadoop1]
$>hadoop-daemon.sh start namenode		//启动名称节点
$>hadoop-daemons.sh start datanode		//启动所有数据节点

[hadoop2]
$>hadoop-daemon.sh start namenode		//启动名称节点

HA 手动管理命令：

$>hdfs haadmin -transitionToActive nn1				//切成激活态
$>hdfs haadmin -transitionToStandby nn1				//切成待命态
$>hdfs haadmin -transitionToActive --forceactive nn2//强行激活
$>hdfs haadmin -failover nn1 nn2					//模拟容灾演示,从nn1切换到nn2
  • 在webui下查看状态：hadoop1:50070；hadoop2:50070

注意！！！

  • 在进行格式化之前一定要先启动数据节点上的journalnode进程
  • 两台容灾节点(NN1，NN2)都需要进行格式化
zookeeper安装配置(Yarn+NameNode HA)

zookeeper集群节点为：hadoop3，hadoop4，hadoop5。先在hadoop3上进行安装配置，然后分发给hadoop4和hadoop5节点。

1. zookeeper安装配置
  • 准备安装包：zookeeper-3.4.12.tar.gz，解压到 /soft 目录下，添加符号链接
// 解压
[centos@hadoop3 /home/centos/localsoft]$ tar -xzvf zookeeper-3.4.12.tar.gz -C /soft/

// 创建符号链接
[centos@hadoop3 /soft]$ln -s /soft/zookeeper-3.4.12 zk
  • 在 /etc/profile 中配置环境变量，source /etc/profile 立即生效
[centos@hadoop3 /home/centos]$sudo nano /etc/profile

//导入环境变量
export ZK_HOME=/soft/zk
export PATH=$PATH:$ZK_HOME/bin
2. zookeeper完全分布式集群
  • 进入 /soft/zk/conf 目录下，配置zk
// 复制
[centos@hadoop3 /soft/zk/conf]$cp zoo_sample.cfg zoo.cfg

// 配置
[centos@hadoop3 /soft/zk/conf]$nano zoo.cfg

// 配置如下：
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/centos/zookeeper //配置临时文件路径
clientPort=2181

server.1=hadoop3:2888:3888
server.2=hadoop4:2888:3888
server.3=hadoop5:2888:3888
  • 分发上面所有的配置给另外两个节点(从hadoop3分发到hadoop4和hadoop5)，分别配置两个节点的 /etc/profile 环境
// 分发给hadoop4
[centos@hadoop3 /soft]$scp -r zookeeper-3.4.12 centos@hadoop4:/soft/
// 分发给hadoop5
[centos@hadoop3 /soft]$scp -r zookeeper-3.4.12 centos@hadoop5:/soft/

// 分发符号引用给hadoop4
[centos@hadoop3 /soft]$rsync -lr zk centos@hadoop4:/soft/
// 分发符号引用给hadoop5
[centos@hadoop3 /soft]$rsync -lr zk centos@hadoop5:/soft/

//导入环境变量
export ZK_HOME=/soft/zk
export PATH=$PATH:$ZK_HOME/bin
  • 在每台主机的/home/centos/zookeeper中添加myid,内容分别是1,2,3
[hadoop3]
[centos@hadoop3 /home/centos]$ echo 1 > /home/centos/zookeeper/myid

[hadoop4]
[centos@hadoop4 /home/centos]$ echo 2 > /home/centos/zookeeper/myid

[hadoop5]
[centos@hadoop5 /home/centos]$ echo 3 > /home/centos/zookeeper/myid
  • 启动服务器集群，查看每台服务器的状态
//启动服务器
$> zkServer.sh start
//关闭
$> zkServer.sh stop

//查看状态
$>zkServer.sh status

zookeeper基本命令：

$>zkCli.sh -server hadoop3:2181	//进入zk命令行
$zk]help						//查看帮助
$zk]quit						//退出
$zk]create /a tom				//
$zk]get /a						//查看数据
$zk]ls /						//列出节点
$zk]set /a tom					//设置数据
$zk]delete /a					//删除一个节点
$zk]rmr /a						//递归删除所有节点。
3. hadoop+zk 高可用配置
1. 准备阶段
  • 停掉所有的hadoop进程(保证没有任何进程在运行)
[centos@hadoop1 /home/centos]$
  • 删除所有节点的日志和本地数据
//  删除所有节点的日志
[centos@hadoop1 /home/centos]$ xcall.sh "rm -rf /soft/hadoop/logs/*" 

//  删除所有节点的本地数据
[centos@hadoop1 /home/centos]$ xcall.sh "rm -rf /home/centos/hadoop/*"
  • 登录每台JN节点主机，启动JN进程(hadoop3, hadoop4, hadoop5，hadoop6，hadoop7，hadoop8)
$> hadoop-daemon.sh start journalnode
  • 登录其中一个名称节点(NN)，格式化文件系统(登录hadoop1)
[centos@hadoop1 /home/centos]$ hadoop namenode -format
  • 复制hadoop1主机 /home/centos/hadoop/* 的元数据到hadoop2主机
[centos@hadoop1 /home/centos]$ scp -r ~/hadoop/* centos@hadoop2:/home/centos/hadoop

  • 在未格式化的NN(hadoop2)节点上做standby引导

    • 启动hadoop1主机的名称节点
    [centos@hadoop1 /home/centos]$ hadoop-daemon.sh start namenode
    • 登录到hadoop2节点，做standby引导(选择：N)
    [centos@hadoop2 /home/centos]$ hdfs namenode -bootstrapStandby
    • 登录hadoop1，将hadoop1的edit日志初始化到JN节点(选择：Y)
    [centos@hadoop1 /home/centos]$ hdfs namenode -initializeSharedEdits

    注意： 假如出现被锁住无法引导的情况，需要删除 /home/centos/hadoop/dfs/name 下的 in_use.lock 文件

  • 启动所有数据节点

[centos@hadoop1 /home/centos]$ hadoop-daemons.sh start datanode
  • 登录到hadoop2主机，启动名称节点(NN)
[centos@hadoop1 /home/centos]$ hadoop-daemon.sh start namenode
2. NameNode高可用配置
  • 停止所有进程
[centos@hadoop1 /home/centos]$ stop-all.sh
  • 配置hdfs-site.xml和core-site.xml，分发两个文件给所有主机
//配置core-site.xml，指定zk的连接地址
[core-site.xml]
<property>
	<name>ha.zookeeper.quorum</name>
	<value>hadoop3:2181,hadoop4:2181,hadoop5:2181</value>
</property>

//配置hdfs-site.xml，启用自动容灾
[hdfs-site.xml]
<property>
	<name>dfs.ha.automatic-failover.enabled</name>
	<value>true</value>
</property>

//分发文件到其他主机
[centos@hadoop1 /soft/hadoop/etc/ha]$ xsync.sh hdfs-site.xml
[centos@hadoop1 /soft/hadoop/etc/ha]$ xsync.sh core-site.xml
  • 开启ZooKeeper集群(hadoop3, hadoop4, hadoop5)
$> zkServer.sh start
  • 登录其中的一台NN(hadoop1)，在ZK中初始化HA状态，进入zk客户端查看
[centos@hadoop1 /home/centos]$ hdfs zkfc -formatZK

// 进入zk客户端
[centos@hadoop3 /home/centos]$ zkCli.sh
  • 启动hdfs进程
[centos@hadoop1 /home/centos]$ start-dfs.sh
3. Yarn高可用配置

yarn的高可用配置相对简单

  • 配置 yarn-site.xml，分发给其他主机节点
<property>
	<name>yarn.resourcemanager.ha.enabled</name>
	<value>true</value>
</property>
<property>
	<name>yarn.resourcemanager.cluster-id</name>
	<value>cluster1</value>
</property>
<property>
	<name>yarn.resourcemanager.ha.rm-ids</name>
	<value>rm1,rm2</value>
</property>
<property>
	<name>yarn.resourcemanager.hostname.rm1</name>
	<value>hadoop1</value>
</property>
<property>
	<name>yarn.resourcemanager.hostname.rm2</name>
	<value>hadoop2</value>
</property>
<property>
	<name>yarn.resourcemanager.webapp.address.rm1</name>
	<value>hadoop1:8088</value>
</property>
<property>
	<name>yarn.resourcemanager.webapp.address.rm2</name>
	<value>hadoop2:8088</value>
</property>
<property>
	<name>yarn.resourcemanager.zk-address</name>
	<value>hadoop3:2181,hadoop4:2181,hadoop5:2181</value>
</property>
  • 启动yarn进程(hadoop1)。hadoop没有启动两个resourcemanager，需要手动启动另外一个。
[hadoop1]
[centos@hadoop1 /home/centos]$ start-yarn.sh

[hadoop2]
[centos@hadoop2 /home/centos]$ yarn-daemon.sh start resourcemanager

//管理命令
//查看状态
$>yarn rmadmin -getServiceState rm1
//切换状态到standby
$>yarn rmadmin -transitionToStandby rm1
  • 查看 hadoop1 和 hadoop2 的资源管理器
hadoop1:8088
hadoop2:8088
Hbase安装配置(HA)

5台主机节点：hadoop3，hadoop4，hadoop5，hadoop6，hadoop7。hadoop3是master节点，其余节点为slave节点。

1. ssh配置

hbase是具有从属关系的集群，所以hadoop3需要能够免密登录到其他四个节点主机，需要进行ssh免密登录配置

  • 在hadoop3上生成秘钥对，重命名公钥，并将公钥添加到authorized_keys
// 生成秘钥对
[centos@hadoop3 /home/centos]$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa 

// 重命名
[centos@hadoop3 /home/centos/.ssh]$ mv id_rsa.pub id_rsa_hadoop3.pub

// 添加公钥到authorized_keys 
[centos@hadoop3 /home/centos/.ssh]$ cat id_rsa_hadoop3.pub >> authorized_keys
  • 将公钥发给其他四个节点，并将公钥添加到authorized_keys中
[centos@hadoop3 /home/centos/.ssh]$scp id_rsa_hadoop3.pub centos@hadoop4:~/.ssh/
[centos@hadoop3 /home/centos/.ssh]$scp id_rsa_hadoop3.pub centos@hadoop5:~/.ssh/
[centos@hadoop3 /home/centos/.ssh]$scp id_rsa_hadoop3.pub centos@hadoop6:~/.ssh/
[centos@hadoop3 /home/centos/.ssh]$scp id_rsa_hadoop3.pub centos@hadoop7:~/.ssh/

// 添加公钥到authorized_keys中
$> cat id_rsa_hadoop3.pub >> authorized_keys
2. hbase 安装配置
  • 准备hbase安装包：hbase-1.2.6-bin.tar.gz，解压到 /soft 目录下，创建符号链接
[centos@hadoop3 /home/centos]$ tar -xzvf hbase-1.2.6-bin.tar.gz -C /soft/

// 创建符号链接
[centos@hadoop3 /soft]$ln -s /soft/hbase-1.2.6 hbase
  • 在 /etc/profile 线配置环境变量，source /etc/profile 立即生效
[centos@hadoop3 /home/centos]$ sudo nano /etc/profile

导入环境变量：
export HBASE_HOME=/soft/hbase
export PATH=$PATH:$HBASE_HOME/bin

// hadoop version 
HBase 1.2.6
Source code repository file:///home/busbey/projects/hbase/hbase-assembly/target/hbase-1.2.6 revision=Unknown
Compiled by busbey on Mon May 29 02:25:32 CDT 2017
From source with checksum 7e8ce83a648e252758e9dae1fbe779c9
3. hbase高可用集群(整合zookeeper)
  • 配置 /soft/hbase/conf/hbase-env.sh和 /soft/hbase/conf/regionservers
// 配置hbase-env.sh
[centos@hadoop3 /soft/hbase/conf]$ nano hbase-env.sh

//找到如下配置进行修改
export JAVA_HOME=/soft/jdk
export HBASE_MANAGES_ZK=false
export HBASE_PID_DIR=/home/centos/hbase/pids
export HBASE_CLASSPATH=$HBASE_CLASSPATH:/soft/hadoop/etc/hadoop

// 配置 regionservers
[centos@hadoop3 /soft/hbase/conf]$ nano regionservers

hadoop4
hadoop5
hadoop6
hadoop7
  • 配置 /soft/hbase/conf/hbase-site.xml 文件
[centos@hadoop3 /soft/hbase/conf]$nano hbase-site.xml

[hbase-site.xml]

<!-- 使用完全分布式 -->
<property>
	<name>hbase.cluster.distributed</name>
	<value>true</value>
</property>
<!-- 指定hbase数据在hdfs上的存放路径 -->
<property>
    <name>hbase.rootdir</name>
    <value>hdfs://mycluster/hbase</value>
</property>
<!-- 配置zk地址 -->
<property>
	<name>hbase.zookeeper.quorum</name>
	<value>hadoop3:2181,hadoop4:2181,hadoop5:2181</value>
</property>
<!-- zk的本地目录 -->
<property>
	<name>hbase.zookeeper.property.dataDir</name>
	<value>/home/centos/zookeeper</value>
</property>
  • 在 /soft/hbase/conf/ 目录下创建到hadoop的hdfs-site.xml符号连接
[centos@hadoop3 /soft/hbase/conf]$ ln -s /soft/hadoop/etc/hadoop/hdfs-site.xml /soft/hbase/conf/hdfs-site.xml
  • 将上面的所有配置都发给其他节点(hadoop4，hadoop5，hadoop6，hadoop7)
// 解压文件
[centos@hadoop3 /soft]$ scp -r hbase-1.2.6 centos@hadoop4:/soft/
[centos@hadoop3 /soft]$ scp -r hbase-1.2.6 centos@hadoop5:/soft/
[centos@hadoop3 /soft]$ scp -r hbase-1.2.6 centos@hadoop6:/soft/
[centos@hadoop3 /soft]$ scp -r hbase-1.2.6 centos@hadoop7:/soft/

// 分发符号链接
[centos@hadoop3 /soft]$ rsync -lr hbase centos@hadoop4:/soft/
[centos@hadoop3 /soft]$ rsync -lr hbase centos@hadoop5:/soft/
[centos@hadoop3 /soft]$ rsync -lr hbase centos@hadoop6:/soft/
[centos@hadoop3 /soft]$ rsync -lr hbase centos@hadoop7:/soft/

// 在这4台主机节点的 /etc/profile 中配置环境变量，source /etc/profile 立即生效
export HBASE_HOME=/soft/hbase
export PATH=$PATH:$HBASE_HOME/bin
  • 启动hbase集群

注意： 在启动hbase集群前，应该保证hadoop集群启动，并且NameNode节点为激活状态。否则会报异常：Operation category READ is not supported in state standby

[centos@hadoop3 /home/centos]$ start-hbase.sh

hbase基本命令

//启动HBase集群：
$> start-hbase.sh

//单独启动一个HMaster进程：
$> hbase-daemon.sh start master

//单独停止一个HMaster进程：
$> hbase-daemon.sh stop master

//单独启动一个HRegionServer进程：
$> hbase-daemon.sh start regionserver

//单独停止一个HRegionServer进程：
$> hbase-daemon.sh stop regionserver

//进入hbase shell
$> hbase shell
  • 在webui中查看：hadoop3:16010
Kafka集群安装配置

在hadoop6，hadoop7，hadoop8三台主机上构建kafka集群

  • 准备kafka安装包：kafka_2.11-2.0.0.tgz，解压到 /soft 目录下，并创建符号链接
// 解压
[centos@hadoop6 /home/centos/localsoft]$tar -xzvf kafka_2.11-2.0.0.tgz -C /soft/

// 创建符号链接
[centos@hadoop6 /soft]$ln -s /soft/kafka_2.11-2.0.0 kafka
  • 在 /etc/profile 中配置环境变量，source /etc/profile 立即生效
[centos@hadoop6 /soft]$sudo nano /etc/profile

导入环境变量
export KAFKA_HOME=/soft/kafka
export PATH=$PATH:$KAFKA_HOME/bin
  • 配置kafka集群，主机：hadoop6，hadoop7，hadoop8。在 /soft/kafka/config/server.properties 文件中进行如下修改
[centos@hadoop6 /soft/kafka/config]$nano server.properties

# The id of the broker. This must be set to a unique integer for each broker.
broker.id=6 // hadoop6，hadoop7，hadoop8的broker_id分别为 6，7，8

listeners=PLAINTEXT://:9092

# A comma separated list of directories under which to store log files
log.dirs=/home/centos/kafka/logs

# Zookeeper connection string (see zookeeper docs for details).
# This is a comma separated host:port pairs, each corresponding to a zk
# server. e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002".
# You can also append an optional chroot string to the urls to specify the
# root directory for all kafka znodes.
zookeeper.connect=hadoop6:2181,hadoop7:2181,hadoop8:2181
  • 把上面的配置分发其他两台主机节点，修改 /soft/kafka/config/server.properties 中的 broker_id 号，在 /etc/profile 下配置环境变量，source /etc/profile 立即生效
// 发送解压文件
[centos@hadoop6 /soft]$scp -r kafka_2.11-2.0.0 centos@hadoop7:/soft/
[centos@hadoop6 /soft]$scp -r kafka_2.11-2.0.0 centos@hadoop8:/soft/

// 发送符号链接
[centos@hadoop6 /soft]$rsync -lr kafka centos@hadoop7:/soft/
[centos@hadoop6 /soft]$rsync -lr kafka centos@hadoop8:/soft/

导入环境变量
export KAFKA_HOME=/soft/kafka
export PATH=$PATH:$KAFKA_HOME/bin

分别修改broker_id

  • 启动kafka服务器

    • 先启动ZooKeeper：zkServer.sh start

    • 启动kafka集群：hadoop3，hadoop4，hadoop5

    // 守护进程
[centos@hadoop6 /home/centos]$ kafka-server-start.sh /soft/kafka/config/server.properties &
    • 验证kafka集群服务器是否启动
    [centos@hadoop6 /home/centos]$ netstat -anop | grep 9092
kafka基本的API使用
  • 启动kafka集群：在每台机器上运行启动命令
[centos@hadoop6 /home/centos]$ kafka-server-start.sh /soft/kafka/config/server.properties &
  • 对主题的操作
// 查看主题列表
[centos@hadoop6 /home/centos]$ kafka-topics.sh --list --zookeeper hadoop3:2181

// 创建主题：first
[centos@hadoop6 /home/centos]$ kafka-topics.sh --create --zookeeper hadoop3:2181 --replication-factor 3 --partitions 3 --topic first

// 删除主题
[centos@hadoop6 /home/centos]$ kafka-topics.sh --delete --zookeeper hadoop3:2181

参数说明：
--zookeeper：指定ZooKeeper主机
--topic：定义topic的名字
--replication-factor：定义副本数
--partitions：定义分区数

注意：副本数量不能大于broker的数量(kafka集群主机的数量)
  • 生产者-消费者演示

生产者生产消息：

[centos@hadoop6 /home/centos]$ kafka-console-producer.sh --broker-list hadoop6:9092 --topic first

消费者消费消息：

[centos@hadoop6 /home/centos]$ kafka-console-consumer.sh --bootstrap-server hadoop6:9092 --from-beginning --topic first

--from-beginning：从头开始消费，即会将生产者生产的所有消息都消费掉
Storm集群安装配置

在hadoop3，hadoop4，hadoop5，hadoop6，hadoop7 五台主机上构建storm集群

  • 准备storm安装包：apache-storm-1.1.3.tar.gz，解压到 /soft 目录下，并创建符号链接
// 解压
[centos@hadoop3 /home/centos/localsoft]$ tar -xzvf apache-storm-1.1.3.tar.gz -C /soft/

// 创建符号链接
[centos@hadoop3 /soft]$ ln -s /soft/apache-storm-1.1.3 storm
  • 在 /etc/profile 中配置环境变量，source /etc/profile 立即生效
[centos@hadoop3 /soft]$ sudo nano /etc/profile

导入环境变量
export STORM_HOME=/soft/storm
export PATH=$PATH:$STORM_HOME/bin
  • 进入 /soft/storm/conf 目录下，对 storm.yaml 进行如下配置(主机：hadoop3)
[centos@hadoop3 /soft/storm/conf]$ nano storm.yaml

storm.zookeeper.servers:
     - "hadoop3"
     - "hadoop4"
     - "hadoop5"
 
 nimbus.seeds: ["hadoop3"]

 storm.local.dir: "/home/centos/storm"

 storm.zookeeper.port: 2181

 ui.host: 0.0.0.0
 ui.port: 8080

 supervisor.slots/ports:
    - 6700
    - 6701
    - 6702
    - 6703
  • 将上面的配置分发给其他节点(hadoop4，hadoop5，hadoop6，hadoop7)，在 /etc/profile 中配置环境变量，source /etc/profile 立即生效
// 分发解压文件
[centos@hadoop3 /soft]$scp -r apache-storm-1.1.3 centos@hadoop4:/soft/
[centos@hadoop3 /soft]$scp -r apache-storm-1.1.3 centos@hadoop5:/soft/
[centos@hadoop3 /soft]$scp -r apache-storm-1.1.3 centos@hadoop6:/soft/
[centos@hadoop3 /soft]$scp -r apache-storm-1.1.3 centos@hadoop7:/soft/

// 分发符号链接
[centos@hadoop3 /soft]$rsync -lr storm centos@hadoop4:/soft/
[centos@hadoop3 /soft]$rsync -lr storm centos@hadoop5:/soft/
[centos@hadoop3 /soft]$rsync -lr storm centos@hadoop6:/soft/
[centos@hadoop3 /soft]$rsync -lr storm centos@hadoop7:/soft/

导入环境变量
export STORM_HOME=/soft/storm
export PATH=$PATH:$STORM_HOME/bin

  • 启动集群

    • 启动ZooKeeper集群：zkServer.sh start(hadoop3，hadoop4，hadoop5)

    • 启动主机hadoop3的 nimbus 进程

    [centos@hadoop3 /home/centos]$ storm nimbus &
    • 启动hadoop4 ~ hadoop7 的 supervisor 进程
    [centos@hadoop3 /home/centos]$ storm supervisor &
    • 启动hadoop3的webui进程
    [centos@hadoop3 /home/centos]$ storm ui &

  • 在webui中查看：hadoop3:8080

Spark集群安装配置

在8个节点上配置spark集群，其中hadoop1是master节点，hadoop2~ hadoop8是worker节点

1. spark安装配置
  • 准备spark安装包：spark-2.3.1-bin-hadoop2.7.tgz，解压到 /soft/ 目录，并创建符号链接：
// 解压
[centos@hadoop1 /home/centos/localsoft]$tar -xzvf spark-2.3.1-bin-hadoop2.7.tgz -C /soft/

// 创建符号链接
[centos@hadoop1 /soft]$ln -s /soft/spark-2.3.1-bin-hadoop2.7 spark
  • 在 /etc/profile 下配置环境变量，source /etc/profile 立即生效
[centos@hadoop1 /home/centos]$sudo nano /etc/profile

# spark
export SPARK_HOME=/soft/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
  • 验证：spark-shell，看等否进入spark命令行
2. spark集群配置(StandAlone：独立模式)
  • 进入 /soft/spark/conf 目录下，配置 slaves，spark-env.sh 文件
// 在slaves文件中写入其他7台主机节点
hadoop3
hadoop4
hadoop5
hadoop6
hadoop7
hadoop8

// 在spark-env.sh中写入
SPARK_MASTER_HOST=hadoop1
SPARK_MASTER_PORT=7077
  • 配置 Job History Server，修改 /soft/spark/conf 目录下的 spark-defaults.conf 和 spark-env.sh 文件
// 在 spark-env.sh 中添加如下配置
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=4000 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://hadoop1:8020/directory"

// 在spark-defaults.conf中修改
spark.master                     spark://hadoop1:7077
spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://hadoop1:8020/directory
  • 分发上面所有的配置给其他节点(hadoop2 ~ hadoop8)，并在 /etc/profile 中配置环境变量，source /etc/profile 立即生效
// 分发解压文件
[centos@hadoop1 /soft]$xsync.sh spark-2.3.1-bin-hadoop2.7

// 分发符号链接
[centos@hadoop1 /soft]$rsync -lr spark centos@hadoop2:/soft/
[centos@hadoop1 /soft]$rsync -lr spark centos@hadoop3:/soft/
[centos@hadoop1 /soft]$rsync -lr spark centos@hadoop4:/soft/
[centos@hadoop1 /soft]$rsync -lr spark centos@hadoop5:/soft/
[centos@hadoop1 /soft]$rsync -lr spark centos@hadoop6:/soft/
[centos@hadoop1 /soft]$rsync -lr spark centos@hadoop7:/soft/
[centos@hadoop1 /soft]$rsync -lr spark centos@hadoop8:/soft/

环境变量
export SPARK_HOME=/soft/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
  • 启动集群
[centos@hadoop1 /soft/spark/sbin]$./start-all.sh
  • 运行第一个spark程序(WordCount)

// 进入spark shell
[centos@hadoop1 /soft/spark/sbin]$ ./spark-shell

// 运行
scala> sc.textFile("hdfs://hadoop1:8020/wc.txt").flatMap(_.split(" "))
.map((_,1)).reduceByKey(_+_).saveAsTextFile("hdfs://hadoop1:8020/out")
3. sparkHA搭建——基于zookeeper

  • 停掉spark集群：./spark-stop.sh

  • 修改 spark-env.sh 文件

// 添加如下配置
#ZK HA
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop3:2181,hadoop3:2181,hadoop4:2181 -Dspark.deploy.zookeeper.dir=/spark"

MASTER=spark://hadoop1:7077,spark://hadoop2:7077 bin/spark-shell
  • 分发修改后的spark-env.sh文件给其他节点。在hadoop1上启动所有worker进程和master进程，在hadoop2上启动另一个master进程
[centos@hadoop1 /soft/spark/sbin]$ ./start-all.sh

[centos@hadoop2 /soft/spark/sbin]$./start-master.sh
  • 进入 spark-shell ：需要指定所有的master节点，并且要保证 spark-shell 进程所在节点的 hadoop 进程是 active 状态(可访问磁盘)，因为spark会优先在该台机器进行备份
// 需要指定所有的master节点
[centos@hadoop1 /home/centos]$spark-shell --master spark://hadoop1:7077,hadoop2:7077

常见异常请查看：https://www.cnblogs.com/arachis/p/Spark_Exception.html

大功告成！

其他组建安装配置

mysql、hive、flume …

MySQL安装配置
1. 安装MySQL

在Linux上安装MySQL一般有两种方式。第一种就是使用yum命令进行安装(比较轻量，安装包较小，但依赖多，容易出错)。第二种方式就是通过解压MySQL包安装(包比较大，但是不容易出错)。本文采用第二种方式安装配置MySQL。

$> rpm -qa|grep mariadb  // 查询出来已安装的mariadb  
$> rpm -e --nodeps 文件名  // 卸载mariadb，文件名为上述命令查询出来的文件
  • 删除 etc目录下的 my.cnf
$> rm /etc/my.cnf
  • 创建名为mysql的用户组，创建一个名为mysql的用户，并将该用户加入mysql用户组
//创建mysql用户组
$> groupadd mysql

//创建一个用户名为mysql的用户并加入mysql用户组
$> useradd -g mysql mysql
  • 将 mysql-5.6.41-linux-glibc2.12-x86_64.tar.gz 复制到 /usr/local 目录下，并解压在当前目录下
$> cp /mnt/hgfs/bigdata/soft/mysql-5.6.41-linux-glibc2.12-x86_64.tar.gz /usr/local

//解压该压缩文件
$> tar -zxvf mysql-5.6.41-linux-glibc2.12-x86_64.tar.gz
  • 将解压出来的文件夹重命名为mysql
$> mv 解压出来的文件夹名 mysql
  • 将 /usr/local/mysql/support-files 路径下的 my-default.cnf 文件拷贝到 /etc 目录下，重命名为 my.cnf
[root@s201 /usr/local/mysql]# cp my-default.cnf /etc/my.cnf
  • 配置 my.cnf 文件
[root@s201 /usr/local/mysql]# nano /etc/my.cnf

[mysql]  
# 设置mysql客户端默认字符集  
default-character-set=utf8   
socket=/var/lib/mysql/mysql.sock
[mysqld]  
skip-name-resolve  
#设置3306端口  
port = 3306   
socket=/var/lib/mysql/mysql.sock  
# 设置mysql的安装目录  
basedir=/usr/local/mysql  
# 设置mysql数据库的数据的存放目录  
datadir=/usr/local/mysql/data  
# 允许最大连接数  
max_connections=200  
# 服务端使用的字符集默认为8比特编码的latin1字符集  
18. character-set-server=utf8  
# 创建新表时将使用的默认存储引擎  
default-storage-engine=INNODB  
lower_case_table_name=1  
max_allowed_packet=16M
user=mysql //设置用户为mysql
  • 如果是centos精简版本，可能需要安装Perl模块
$> yum install -y perl
$> yum install -y perl-Module-Install.noarch

  • 如果是centos系统，修改 /etc/selinux/config，把SELINUX=enforcing改为SELINUX=disabled，保存退出后重启机器

  • 进入安装 mysql 软件目录,安装数据库

[root@hadoop1 ~]# cd /usr/local/mysql
[root@hadoop1 /usr/local/mysql]# chown -R mysql:mysql ./       修改当前目录拥有着为mysql用户
[root@hadoop1 /usr/local/mysql]# ./scripts/mysql_install_db --user=mysql --basedir=/usr/local/mysql/ --datadir=/usr/local/mysql/data/
  • 修改当前 data目录的拥有者为 mysql用户
[root@hadoop1 /usr/local/mysql]# chown -R mysql:mysql data
2. 配置MySQL
  • 授予 my.cnf最大权限
[root@hadoop1 /usr/local/mysql]# chown 777 /etc/my.cnf
  • 复制启动脚本到资源目录
[root@hadoop1 /usr/local/mysql]# cp ./support-files/mysql.server /etc/rc.d/init.d/mysqld
  • 增加 mysqld 服务控制脚本执行权限
[root@hadoop1 /usr/local/mysql]# chmod +x /etc/rc.d/init.d/mysqld
  • 将 mysqld 服务加入到系统服务
[root@hadoop1 /usr/local/mysql]# chkconfig --add mysqld
  • 检查 mysqld 服务是否已经生效
[root@hadoop1 /usr/local/mysql]# chkconfig --list mysqld

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sqbrklEE-1583138418964)(http://pcx55bat1.bkt.clouddn.com/mysql1.png)]

  • 在 /var/lib 下创建 mysql 文件夹，修改权限
[root@hadoop1 /usr/local/mysql]# mkdir /var/lib/mysql

//设置权限
[root@hadoop1 /usr/local/mysql]# chmod 777  /var/lib/mysql
  • 将 mysql 的 bin 目录加入 PATH 环境变量，编辑 ~/.bash_profile 文件
[root@hadoop1 /usr/local/mysql]# nano ~/.bash_profile

//在文件最后添加如下信息： 指定环境变量启动程序位置
export PATH=$PATH:/usr/local/mysql/bin

//执行下面的命令是修改的内容立即生效 :
[root@hadoop1 /usr/local/mysql]# source ~/.bash_profile
  • 启动mysqld
//启动mysql服务
[root@hadoop1 /usr/local/mysql]# service mysqld start

//关闭mysql服务
[root@hadoop1 /usr/local/mysql]# service mysqld stop
  • 以 root 账户登录 mysql, 默认是没有密码的， 要输入密码的时候直接回车即可
[root@hadoop1 /usr/local/mysql]# mysql -u root -p

注意： mysql -u root -p 命令可能会有异常：-bash: mysql: command not found。这是因为系统在默认的命令文件夹 /usr/bin 下没有找到 mysql 命令，需要在此文件夹下建一个符号链接：

[root@hadoop1 /usr/local/mysql]# ln -s /usr/local/mysql/bin/mysql /usr/bin
  • 设置 root 账户密码为 root
mysql>use mysql  
mysql>update user set password=password('root') where user='root' and host='localhost';  
mysql>flush privileges;
  • 设置远程主机登录，使用下面命令查看和添加，注意下面的 your username 和 your password 改成你需要设置的用户和密码
查看用户
select Host,User,Password from mysql.user;
创建用户
create user test identified by '123456';
分配权限
grant all privileges on *.* to 'test'@'%'identified by '123456' with grant option;

//匹配整个数据库权限
grant all privileges on *.* to 'root'@'%' identified by 'root';

说明: 第一个’root’是用户名,第二个’%’是所有的ip都可以远程访问,第三个’123456’表示用户密码 如果不常用就关闭掉。

刷新
flush privileges ;
修改指定用户密码
update mysql.user set password=password('新密码') where User="test" and Host="localhost";
删除用户
delete from user where User='test' and Host='localhost';

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PGXyeJoI-1583138418969)(http://pcx55bat1.bkt.clouddn.com/mysql3.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IWTFqhU0-1583138418971)(http://pcx55bat1.bkt.clouddn.com/mysql2.png)]

  • CentOS7 防火墙设置
重启防火墙
firewall-cmd --reload
停止防火墙
systemctl stop firewalld.service
禁止防火墙开机启动
systemctl disable firewalld.service
删除
firewall-cmd --zone= public --remove-port=80/tcp --permanent

关闭防火墙 
1） 永久性生效，重启后不会复原
开启： chkconfig iptables on
关闭： chkconfig iptables off
2） 即时生效，重启后复原
开启： service iptables start
关闭： service iptables stop
  • 成功示例

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0PWGCxHa-1583138418975)(http://pcx55bat1.bkt.clouddn.com/mysql4.png)]

3. 问题解决

  • MySQL提示：The server quit without updating PID file
    参考：1. https://www.cnblogs.com/wangshaojun/p/5065298.html
    2. http://blog.51cto.com/fengyunshan911/2070818

  • 解决linux mysql命令 bash: mysql: command not found 的方法
    参考：https://www.cnblogs.com/jr1260/p/6590860.html

4. 说明

本文详细参考了 https://blog.csdn.net/u013421629/article/details/79638315 文档，在此对原作者的辛苦整理表示感谢！！！

Hive安装配置
1. hive安装

hadoop3，hadoop4，hadoop5上安装

  • 准备hive安装包：apache-hive-2.3.3-bin.tar.gz ，解压到 /soft 目录下，并创建符号链接
// 解压
[centos@hadoop3 /home/centos/localsoft]$ tar -xzvf apache-hive-2.3.3-bin.tar.gz -C /soft

// 创建符号链接
[centos@hadoop3 /soft]$ ln -s /soft/apache-hive-2.3.3-bin hive
  • 在 /etc/profile 中配置环境变量，source /etc/profile 立即生效
[centos@hadoop3 /home/centos]$ sudo nano /etc/profile

导入环境变量
export HIVE_HOME=/soft/hive
export PATH=$PATH:$HIVE_HOME/bin
2. hive配置

使用MySQL来存放hive的元数据

  • 将mysql的驱动程序复制到 /soft/hive/lib 目录下
[centos@hadoop3 /home/centos/localsoft]$cp mysql-connector-java-5.1.44.jar /soft/hive/lib/
  • 将 /soft/hive/conf/hive-default.xml.template 文件复制为 hive-site.xml，并进行如下配置:
$> cp /soft/hive/conf/hive-default.xml.template /soft/hive/conf/hive-site.xml 

//配置如下属性
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://59.68.29.79:3306/hive</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>root</value>
</property>

<property>
    <name>hive.exec.local.scratchdir</name>
    <value>/home/centos/hive</value>
</property>
<property>
    <name>hive.downloaded.resources.dir</name>
    <value>/home/centos/hive/downloads</value>
</property>
<property>
    <name>hive.querylog.location</name>
    <value>/home/centos/hive/querylog</value>
</property>
<property>
    <name>hive.server2.logging.operation.log.location</name>
    <value>/home/centos/hive/server2_logs</value>
</property>
<property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
</property>

<property>
    <name>hive.server2.enable.doAs</name>
    <value>false</value>
</property>
  • 在mysql中创建存放hive元数据的数据库 hive
mysql> create database hive;
  • 初始化hive的元数据到mysql中
[centos@hadoop3 /soft/hive/bin]$schematool -dbType mysql -initSchema
  • 向其他两台主机发送所有配置，在 /etc/profile 中配置环境变量，source /etc/profile 立即生效
// 分发解压文件
[centos@hadoop3 /soft]$scp -r apache-hive-2.3.3-bin centos@hadoop4:/soft/
[centos@hadoop3 /soft]$scp -r apache-hive-2.3.3-bin centos@hadoop5:/soft/

// 分发符号链接
[centos@hadoop3 /soft]$rsync -lr hive centos@hadoop4:/soft/
[centos@hadoop3 /soft]$rsync -lr hive centos@hadoop5:/soft/

导入环境变量
export HIVE_HOME=/soft/hive
export PATH=$PATH:$HIVE_HOME/bin

hive的基本命令：

// 进入hive
[centos@hadoop3 /home/centos]$ hive

$hive>create database mydb2 ;		        //创建数据库 mydb2
$hive>show databases ;
$hive>use mydb2 ;
$hive>create table mydb2.t(id int,name string,age int);
$hive>drop table t ;
$hive>drop table mydb2.t ;
$hive>select * from mydb2.t ;		//查看指定库的表
$hive>exit ;						//退出
Flume安装配置

Flume是一个日志采集系统，在8台主机上都进行配置

  • 准备安装包：apache-flume-1.8.0-bin.tar.gz，解压到 /soft 目录下，并创建符号链接
// 解压
[centos@hadoop1 /home/centos/localsoft]$tar -xzvf apache-flume-1.8.0-bin.tar.gz -C /soft/

// 创建符号链接
[centos@hadoop1 /soft]$ln -s /soft/apache-flume-1.8.0-bin flume
  • 在 /etc/profile 中配置环境变量，source /etc/profile 立即生效
[centos@hadoop3 /home/centos]$ sudo nano /etc/profile

导入环境变量
export FLUME_HOME=/soft/flume
export PATH=$PATH:$FLUME_HOME/bin
  • 分发所有配置给其他主机节点，在 /etc/profile 中配置环境变量，source /etc/profile 立即生效
// 分发解压文件
[centos@hadoop1 /soft]$xsync.sh apache-flume-1.8.0-bin

// 分发符号链接
[centos@hadoop1 /soft]$rsync -lr flume centos@hadoop2:/soft/ 
[centos@hadoop1 /soft]$rsync -lr flume centos@hadoop3:/soft/ 
[centos@hadoop1 /soft]$rsync -lr flume centos@hadoop4:/soft/ 
[centos@hadoop1 /soft]$rsync -lr flume centos@hadoop5:/soft/ 
[centos@hadoop1 /soft]$rsync -lr flume centos@hadoop6:/soft/ 
[centos@hadoop1 /soft]$rsync -lr flume centos@hadoop7:/soft/ 
[centos@hadoop1 /soft]$rsync -lr flume centos@hadoop8:/soft/

导入环境变量
export HIVE_HOME=/soft/hive
export PATH=$PATH:$HIVE_HOME/bin
  • 验证是否安装成功：flume-ng version
持续更新中
皮皮的雅客
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
Hadoop、Spark、Flink、Kafka
weixin_43497124的博客
03-29 3770
一、Hadoop Hadoop是一套大数据计数组件，三大核心组件： ① HDFS：Hadoop分布式文件系统。解决分布式系统的文件存储问题，本质是提供一套跨机器的文件管理服务。 ② MapReduce：Hadoop的分布式运算程序编程框架 ③ Yarn：Hadoop的分布式运算资源调度系统。解决分布式运算程序的启动、资源调度和资源回收。 Hadoop外围组件： ① Hive：基于HDFS和MapReduce的sql工具 ...
hadoop单节点集群、多节点集群hadoop+zookeeper+yarn+hbase
vhkgcf的博客
05-16 871
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。 HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问...
Spark集群搭建+基于zookeeper的高可用HA
lishuan182的博客
08-26 9918
1. Spark高可用HA 1.1安装zookeeper 1.1.1下载zookeeper-3.4.6 1.1.2 解压zookeeper 1.1.3 修改ZOOKEEPER_HOME/PATH 1.1.4 zookeeper-3.4.6]$ mkdirlogs /data ①cpconf/zoo_sample.cfg conf/zoo.cfg ②修改zoo.cfg中的
启动Zookeeper + Hadoop + Hbase + Kafka大数据服务
中国小宝
09-30 1942
        Hadoop是非常流行的大数据框架，Zookeeper提供了高效的协调服务，Hbase高度依赖zk，是基于HDFS系统，具有可伸缩性，非常适合存储复杂的数据结构，这三者作为一个系统整体，Kafka是作为缓存队列弥补Hbase写入性能较差的不足，让我们去走进它。 1、Zookeeper + Hadoop + Hbase大数据服务的架构图              如上图...
zookeeper+hadoop+hbase+kafka+storm集群搭建
henianyou的博客
10-12 4119
本文记录zookeeper+hadoop+hbase+kafka+storm集群的搭建过程。 准备工作 硬件环境 3台物理主机 192.168.0.191 – dc01 192.168.0.192 – dc02 192.168.0.193 – dc03 系统全部为centos6.8. 软件环境 1) jdk1.8.0_121 2) zookeeper-3....
Hadoop、Spark、Storm、Flink区别及选择
墨痕诉清风的博客
09-26 2616
上述四个组件的实时性高低顺序如下：hadoop < spark < storm < flinkhdfs是hadoop的文件存储系统，存储csv/txt等各种格式的文件，但是对于hive和hbases就比较陌生，今天顺便一起看了一下这二者的区别和适用场景。1. 数据时效性不同：流式计算具有实时、低延迟等特点；批量计算则是非实时、高延迟的。2. 数据特征不同：流式计算的数据一般是动态的、没有边界的，数据像水流一样源源不断、你不知道什么时候会结束；而批量计算的数据则是静态的，每次处理的数据量是已知的。3. 应用场
Hadoop+Hive+Spark+Kafka+Zookeeper+Flume+Sqoop+Azkaban+Scala
05-05
基于 Zookeeper 搭建 Hadoop 高可用集群 二、Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的基本使用 常用 DDL 操作 分区表和分桶表 视图和索引 常用 DML 操作 数据查询详解 三、Spark ...
zookeeper3.4.12+hbase1.4.4+sqoop1.4.7+kafka2.10
06-28
例如，Zookeeper需要设置多个节点以实现高可用，HBase需要与Zookeeper配合以管理集群状态，而Kafka通常会依赖Zookeeper进行集群管理和元数据存储。Sqoop的配置则涉及数据库连接信息和Hadoop的路径设置。 理解并熟练...
Linux环境Hadoop2.6+Hbase1.2集群安装部署
03-01
在构建大数据处理环境时，Linux环境下的Hadoop2.6+Hbase1.2集群安装部署是基础步骤，而Spark分布式集群的搭建则是提升数据处理效率的关键。这些技术的组合使用，可以为大规模数据处理提供高效、可靠的解决方案。 ...
hadoop-2.2.0.tar.gz + zookeeper3.4.5
03-17
此外，HBase、Kafka等大数据组件也常与Zookeeper配合，以确保服务的高可用和一致性。 在实际应用中，用户需要根据自己的硬件资源和需求选择合适的Hadoop和Zookeeper版本，并进行适当的性能调优。例如，调整HDFS的...
LogAnalyzer:分析大数据组件的客户日志，例如HDFS，Hive，HBase，Yarn，MapReduce，Storm，Spark，Spark 2，Knox，Ambari Metrics，Nifi，Accumulo，Kafka，Flume，Oozie，Falcon，Atlas和Zookeeper
05-12
日志分析器-分析大数据组件的客户日志，例如HDFS，Hive，HBase，Yarn，MapReduce，Storm，Spark，Spark 2，Knox，Ambari Metrics，Nifi，Accumulo，Kafka，Flume，Oozie，Falcon，Atlas和Zookeeper。 内部架构 分析...
学习大数据开发，这三个名词Hadoop，Spark，Kafka你都知道背后的故事吗？
jiawoxuexiqq30294961的博客
04-22 562
Hadoop 说起 hadoop ，可能现在许多人都不会陌生，但读就不一定读的对了。 Hadoop的发音是 [hædu:p]。 Hadoop这个名字是Hadoop项目创建者Doug Cutting 的儿子的一只玩具的名字。他的儿子一直称呼一只黄色的大象玩具为 Hadoop 。这刚好满足Cutting 的命名需求，简短，容易拼写和发音，毫无意义，不会在别处使用。于是 Hadoop 就...
大数据系统常用组件理解（Hadoop/hive/kafka/Flink/Spark/Hbase/ES）
最新发布
失散多年的测试博客
01-16 1679
Spark streaming接收kafka、Flume、HDFS、套接字等各种来源实时输入数据，进行处理，处理后结构数据可存储到文件系统、数据库，或显示在可视化图像中；Hive 是构建在Hadoop HDFS上的数据仓库，可以将结构化的数据文件映射成一张数据库表，并提供类SQL查询功能，主要完成海量数据的分析和计算。可以实现高吞吐量的，具备容错机制的实时流数据的处理；Spark和hive结合的比较好，spark和Flink都是分布式流数据流引擎，能对集群资源进行分配使用，确保大计算快速准确完成。
大数据Hadoop、Hive、Kafka、Hbase、Spark等框架面经
m0_46689661的博客
12-05 9610
大数据Hadoop、Hive、Kafka、Hbase、Spark等框架面经
Hadoop、Spark、Storm、Flink的区别是什么？分别适用什么场景？
weixin_63797308的博客
12-19 639
Flink 的核心优势在于内置状态管理以及先发优势带来的较为完善的功能支持，这方面解决了流计算开箱即用的问题，以及双十一磨砺的性能优势，目前仍然是流计算框架的跑分榜第一。Flink 的官方标语就是状态化的流计算，因此这才是它的核心竞争力。注意到每个阶段都有读取数据文件和数据写出到文件的开销，对于同一个任务的中间结果，其唯一用途就是被下一阶段读取，且读后就成为垃圾文件，对中间结果落盘显然是不合理的重大开销。前面讨论的批计算，其特点是输入数据集是事先知晓且有限的，而流计算的世界观认为输入数据集是无限的消息流。
大数据Hadoop、HDFS、Hive、HBASE、Spark、Flume、Kafka、Storm、SparkStreaming这些概念你是否能理清？
helloworldchina的博客
12-25 6741
大数据Hadoop、HDFS、Hive、HBASE、Spark、Flume、Kafka、Storm、SparkStreaming、Sqoop、Flink、ELK、kettle、Zookeeper这些概念你是否能理清？
Zookeeper+Kafka+Storm+HDFS实践
diaorong5437的博客
07-26 155
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 Hadoop一般用在离线的分析计算中，而storm区别于hadoop，用在实时的流式计算中，被广泛用来进行实时日志处理、实时统计、实时风控等场景，当然也可以用在对数据进行实时初步的加工，存储到分布式数据库中如HBase，便于后续的查询。面对的大批量的数据的实时计算，storm实现了一个可扩...
Kafka，storm，Zookeeper，flume，Dubbo，Spark简介及应用
yang889999888的博客
05-17 1971
Kafka简介：     Kafka是由LinkedIn开发的一个分布式基于发布/订阅的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。Kafka是一个消息系统，用作LinkedIn的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。活动流数据是几乎所有站点在对其网站使用情况做报表时都要用到的数据中最常规的部分。活动数据包括页面访问量（
大数据分析常用组件、框架、架构介绍（Hadoop、Spark、Storm、Flume、Kafka、Logstash、HDFS、HBase）
热门推荐
YGQ_qq_1435471912
06-22 1万+
（一）常用组件介绍：具有特定功能的可复用组件正是计算机领域中的利器。在大数据的浪潮下，许多用于处理大数据的组件应运而生，分别应用在“数据传输”“数据存储”“数据计算”以及“数据展示”的环节中。这里，我们将着重介绍一些常用组件的内部原理以及使用方式，并讲述在大数据处理领域中的一些通用架构模式。 1.数据传输： 数据传输时数据处理中至关重要的一步，数据工程师需要利用高效的传输方式把分散在不同机房不同地...
hadoop+spark+hive+hbase+oozie+kafka+flume+flink+es+redash等详细安装部署
05-12
Hadoop是一个开源的分布式计算框架，可用于处理大数据集并提供高可靠性，高可用性和高性能。要进行详细的安装部署，需要运行以下步骤： 1. 安装Java：Hadoop基于Java编写，因此需要安装适当的Java版本。 2. 安装Hadoop：以二进制文件的形式下载Hadoop，并将其解压缩到目标位置。编辑Hadoop配置文件，并设置必要的参数，例如本地文件系统和Hadoop所依赖的其他组件。 3. 部署HDFS：使用bin/hdfs script启动HDFS守护进程并格式化NameNode。配置HDFS，并在数据节点上创建数据目录。 4. 部署YARN：使用bin/yarn script启动YARN守护进程，并在ResourceManager节点上运行MR程序的ApplicationMaster服务。重新配置YARN，并设置资源管理器和节点管理器。 5. 安装Spark：以二进制文件的形式下载Spark，并将其解压缩到目标位置。编辑Spark配置文件，并设置必要的参数，例如运行模式，内存设置和调试选项。 6. 安装Hive：以二进制文件的形式下载Hive，并按照说明进行安装。配置Hive，并设置Metastore和HiveServer2。 7. 安装HBase：以二进制文件的形式下载HBase，并按照说明进行安装。配置HBase，并设置区域服务器和HBase主服务器。 8. 安装Oozie：以二进制文件的形式下载Oozie，并按照说明进行安装。编辑Oozie配置文件，并设置必要的参数，例如数据库连接，属性和内存设置。 9. 安装Kafka：以二进制文件的形式下载Kafka，并按照说明进行安装。配置Kafka，并设置必要的参数，例如Zookeeper连接，日志存储位置和日志大小限制。 10. 安装Flume：以二进制文件的形式下载Flume，并按照说明进行安装。配置Flume，并设置必要的参数，例如Flume代理，事件类型和目标。 11. 安装Flink：以二进制文件的形式下载Flink，并按照说明进行安装。配置Flink，并设置必要的参数，例如集群模式，任务管理器，计算管道和作业提交方式。 12. 安装ES：以二进制文件的形式下载Elasticsearch，并按照说明进行安装。配置Elasticsearch，并设置必要的参数，例如节点类型，索引设置和查询配置。 13. 安装Redash：以二进制文件的形式下载Redash，并按照说明进行安装。配置Redash并设置必要的参数，例如数据库连接，权限和查询模式。 以上提到的大数据技术是开源的，所以可以在官网上找到相关二进制文件和详细的安装部署指南。也可以使用一些自动化的部署工具，如Puppet和Ansible来简化整个过程。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值