快速部署DBus体验实时数据流计算

拓展阅读：

如何基于日志，同步实现数据的一致性和实时抽取?

拆解大数据总线平台DBus的系统架构

一、环境说明

说明all in one是一个单机版本dbus环境，是给用户快速体验dbus的功能，只是一个简单体验版，不能用于其它环境或者用途，具体包括如下：

1）基础组建：

• zookeeper 3.4.6
• kafka 0.10.0.0
• storm 1.0.1
• granfana 4.2.0
• logstash 5.6.1
• influxdb （需要单独安装， 参考如下步骤3）
• mysql （需要单独安装，参考如下步骤2）

2）dbus相关包：

• dbus-keeper 0.5.0
• dbus-stream-main 0.5.0
• dbus-router 0.5.0
• dbus-heartbeat 0.5.0
• dbus-log-processor 0.5.0

3）mysql数据源所需：

• canal

1.1 环境依赖

安装dbus-allinone环境的建议配置如下

• JDK 1.8.181 或 以上
• CPU 2核 或以上
• 内存 16GB或以上
• 磁盘 20GB或以上

注：一台Linux centos服务器， 该服务器最好是空机器，上面不要安装dbus所依赖的zk，kafka，storm等

1.2 修改域名

注：ip是您的具体ip，这里用192.168.0.1为例子

修改服务器/etc/hosts文件设置相应的域名信息如下：

192.168.0.1 dbus-n1

修改服务器hostname命令如下：

hostname dbus-n1

配置好后，服务器IP和域名信息如下：

1.3 创建app用户及配置SSH免密登录

由于dbus启动拓扑采用的ssh调用storm命令，all in one包中默认的调用ssh使用app用户和22端口，因此要正常体验all in one需要创建app账户和配置ssh免密登录，免密登录配置的从dbus-n1到dbus-n1的免密登录

配置完成后执行如下命令看时候配置成功

[app@dbus-n1 ~]$ ssh -p 22 app@dbus-n1
Last login: Fri Aug 10 15:54:45 2018 from 10.10.169.53
[app@dbus-n1 ~]$

二、前期准备

2.1 安装Mysql

2.1.1 下载

推荐下载Mysql版本：5.7.19 地址：https://dev.mysql.com/downloads/mysql/

2.1.2 安装

解压mysql-5.7.19-1.el6.x86_64.rpm-bundle.tar包后，执行以下命令安装：

rpm -ivh mysql-community-server-5.7.19-1.el6.x86_64.rpm --nodeps
rpm -ivh mysql-community-client-5.7.19-1.el6.x86_64.rpm --nodeps
rpm -ivh mysql-community-libs-5.7.19-1.el6.x86_64.rpm --nodeps
rpm -ivh mysql-community-common-5.7.19-1.el6.x86_64.rpm --nodeps
rpm -ivh mysql-community-libs-compat-5.7.19-1.el6.x86_64.rpm --nodeps

2.1.3 配置

在/etc/my.cnf配置文件中，只是增加bin-log相关配置，其他不用修改，关注以下汉字注释部分

[mysqld]
# dbus相关配置开始
log-bin=mysql-bin
binlog-format=ROW
server_id=1
# dbus相关配置结束

2.1.4 启动

执行以下命令启动mysql:

service mysqld start

2.2. 安装InfluxDB

2.2.1 下载

推荐下载InfluxDB版本：influxdb-1.1.0.x86_64 地址：https://portal.influxdata.com/downloads

2.2.2 安装

在dbus-n1上切换到root用户，在influxdb-1.1.0.x86_64.rpm的存放目录下执行如下命令：

rpm -ivh influxdb-1.1.0.x86_64.rpm

2.2.3 启动

在dbus-n1上执行如下命令：

service influxdb start

2.2.4 初始化配置

在dbus-n1上执行如下命令：

#登录influx
influx

#执行初始化脚本
create database dbus_stat_db
use dbus_stat_db
CREATE USER "dbus" WITH PASSWORD 'dbus!@#123'
ALTER RETENTION POLICY autogen ON dbus_stat_db DURATION 15d

三、安装Dbus-allinone包

3.1 下载

在百度网盘提供dbus-allinone.tar.gz 包，访问 release 页面下载最新包：https://github.com/BriData/DBus/releases

3.2 安装

将下载的dbus-allinone包上传到服务器 /app目录下，且必须在此目录下

# 如果没有app目录，要先创建app目录
mkdir /app
cd /app
tar -zxvf dbus-allinone.tar.gz

3.3 初始化数据库

以root身份登录mysql客户端，执行以下命令进行数据库初始化，会创建dbmgr库以及用户、canal用户、dbus库以及用户、testschema库以及用户：

source /app/dbus-allinone/sql/init.sql

3.4 启动

执行start.sh一键启动dbus所有服务，启动项比较多。

cd /app/dbus-allinone
./start.sh

请耐心等待(大概需要5分钟左右时间)，正确的启动日志如下：

Start grafana...
Grafana started. pid: 23760
=================================&