测试环境搭建所需软件安装

测试环境搭建所需软件
{文件复制
scp -r /usr/local/kibaba （文件所在路径） root@192.168.0.11:/usr/local/kibaba（要复制的路径）
启动[root@localhost canal]# ./bin/startup.sh
查看日志[root@localhost canal]# vim logs/canal/canal.log
具体instance的日志：[root@localhost canal]# vim logs/example/example.log
随手笔记}

canal

1.下载canal安装包：
地址：https://github.com/alibaba/canal/releases
图例：

2.将下载好的安装包复制到主机

3.使用命令进行安装
进入安装目录：cd /home/hadoop/test/lele
创建canal存放目录：mkdir canal
进入创建好的目录：cd canal
解压安装包：tar -zxvf …/canal.deployer-1.0.24.tar.gz

4.修改配置文件
vi conf/example/instance.properties

将红框内的内容按实际情况填写完
canal.instance.dbUsername = canal #数据库用户名
canal.instance.dbPassword = canal #数据库密码
canal.instance.defaultDatabaseName = ca_test #指定需要同步的数据库
canal.instance.connectionCharset = UTF-8 #指定编码方式
保存并退出：
Esc
:wq
5.配置mysql数据库
找到 mysql的my.cnf文件 ：mysql –help | grep my.cnf
修改my.cnf:vi /etc/my.cnf
添加以下三行内容，如果原来存在，则不需要添加，只需对当前配置项进行修改即可
log-bin=mysql-bin #添加这一行就ok
binlog-format=ROW #选择row模式
server_id=1 #配置mysql replaction需要定义，不能和canal的slaveId重复
保存并退出：
Esc
:wq

6.配置canal用户
用root用户登录mysql:mysql -uroot -proot
创建“canal”用户：CREATE USER canal IDENTIFIED BY ‘canal’;
为“canal”用户赋予相应权限：GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON . TO ‘canal’@’%’;
刷新权限：FLUSH PRIVILEGES;

7.重新启动mysql服务
用管理员身份执行：sudo service mysqld restart
输入密码：输入自己的root账户对应的密码

8.下载客户端代码
地址：https://github.com/alibaba/canal/releases
图例：

9.将源码解压并导入eclipse中。
用软件将源码解压到某目录：D:\下载\canal\canal-canal-1.0.24
导入：


点击“Next”,指定目录为D:\下载\canal\canal-canal-1.0.24
导入之后找到canal.example项目下的“SimpleCanalClientTest.java”并打开。
原来代码是：

修改为：

即：将ip修改为canal所在的主机ip

10.修改相关文件的权限
将临时目录修改为“任何人读写执行权限”：chmod -R 777 /tmp

11.开启canal服务
/home/hadoop/test/lele/canal/bin/startup.sh

观察canal日志：
tail -n 50 /home/hadoop/test/lele/canal/logs/canal/canal.log
没有错误则表示启动正常。

在eclipse中运行SimpleCanalClientTest.java

登录canal配置文件中的对应mysql数据库
mysql -uroot -proot;
use ca_test;
create table yuangong(name char(20),age int(30));
insert into yuangong values(‘jack’,21);
可以在eclipse中观察到如下结果：

—安装完毕—

如果结果出不来，注意参考日志：
cat canal/logs/canal/canal.log
cat canal/logs/example/example.log

elasticsearch(ES)

[root@localhost ~]# systemctl stop firewalld.service
[root@localhost~]# systemctl disable firewalld.service//禁止防火墙开机启动
[root@localhost ~]# useradd 用户名//创建es用户
[root@localhost ~]#passwd 密码 //创建密码
[root@localhost ~]# chown -R es:es /usr/local/elasticsearch-6.2.4///把目录权限赋予给es用户
[root@localhost ~]# su es//切换至es用户
[es@localhost root]$ vi /usr/local/elasticsearch-6.2.4/config/elasticsearch.yml
相关报错
https://blog.csdn.net/abcd_d_/article/details/53018927
https://www.cnblogs.com/xxoome/p/6663993.html
[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
解决方法：
#切换到root用户修改
vim /etc/security/limits.conf

在最后面追加下面内容

elk hard nofile 65536
elk soft nofile 65536

注意elk 是用户

[2]: max number of threads [1024] for user [elk] is too low, increase to at least [4096]
解决方法：
#切换到root用户修改
进入limits.d下的配置文件：vi /etc/security/limits.d/90-nproc.conf ，修改配置如下：

•      soft    nproc     4096
  

root soft nproc unlimited
[3]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
解决方法：
#切换到root用户修改
修改sysctl文件：vi /etc/sysctl.conf ，增加下面配置项
增加改行配置：vm.max_map_count=655360
保存退出后，执行：
sysctl -p
[4]: system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk
解决方法：
在elasticsearch.yml中加入下面命令即可
bootstrap.system_call_filter: false
启动ElasticSearch之后，笔记本就可以ip：9200访问了
es用户启动
[root@localhost ~]# su es
[es@localhost root]$ sh/usr/local/elasticsearch-6.2.4/bin/elasticsearch -d //加-d就是启动后台进程
[es@localhost root]$ ps -ef|grep elasticsearch
验证下服务是否正常运行 curl http://192.168.88.133:9200

erlang

1.安装Erlang编译依赖:
yum -y install gcc glibc-devel make ncurses-devel openssl-devel xmlto perl wget
2.下载Erlang：
wget http://www.erlang.org/download/otp_src_19.3.tar.gz
3.解压并安装
tar -xzvf otp_src_19.3.tar.gz
cd otp_src_19.3
./configure --prefix=/usr/local/erlang
make && make install
4.配置环境变量
vi /etc/profile
添加配置：
ERL_PATH=/usr/local/erlang/bin
PATH=$ER{L}_{P}ATH:$PATH
source /etc/profile 使配置生效,在shell中使用
肆、kibaba
下载kibana
wget https://artifacts.elastic.co/downloads/kibana/kibana-6.3.2-linux-x86_64.tar.gz

tar -zxvf kibana-6.3.2-linux-x86_64.tar.gz
修改配置文件

vim config/kibana.yml

放开注释,将默认配置改成如下：

server.port: 5601
server.host: “0.0.0.0”
elasticsearch.url: “http://192.168.202.128:9200”
kibana.index: “.kibana”

启动
./kibana //不能关闭终端
nohup ./kibana > /nohub.out & //可关闭终端，在nohup.out中查看log
2.5 访问
在浏览器中访问：http://xxxx:5601/
bin/kibana
伍、mysql
https://oneinstack.com/auto/
service mysql start
service mysql stop
mysql -uroot -p
service mysql start
陆、nacos
https://github.com/alibaba/nacos/releases/download/1.1.3/nacos-server-1.1.3.tar.gz
下载安装包

解压安装包
cd /tmp
tar -zxvf nacos-server-1.1.3.tar.gz

3、移动文件到/usr/local路径下
mv nacos /usr/local

4、启动服务器
cd /usr/local/nacos/bin/
sh startup.sh -m standalone

5、其他会用到的命令
停止 ： /usr/local/nacos/bin/shutdown.sh
启动 ： /usr/local/nacos/bin/startup.sh

nginx

linux环境下安装nginx步骤
开始前，请确认gcc g++开发类库是否装好，默认已经安装。
ububtu平台编译环境可以使用以下指令
apt-get install build-essential
apt-get install libtool
　　centos平台编译环境使用如下指令
　　安装make：
yum -y install gcc automake autoconf libtool make
　　安装g++:
yum install gcc gcc-c++
下面正式开始：
一、选定安装文件目录
　　可以选择任何目录，本文选择 cd /usr/local/src
1 cd /usr/local/src
二、安装PCRE库
　　ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/ 下载最新的 PCRE 源码包，使用下面命令下载编译和安装 PCRE 包：（本文参照下载文件版本：pcre-8.37.tar.gz 经过验证未发现这个版本，若想下载最新版本请打开上面网址。本文选择pcre-8.39.tar.gz）

cd /usr/local/src
wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.39.tar.gz
tar -zxvf pcre-8.37.tar.gz
cd pcre-8.34
./configure
make
make install

三、安装zlib库
　　http://zlib.net/zlib-1.2.11.tar.gz 下载最新的 zlib 源码包，使用下面命令下载编译和安装 zlib包：（本文参照下载文件版本：zlib-1.2.8.tar.gz 经过验证未发现这个版本，若想下载最新版本请打开上面网址。本文选择zlib-1.2.11.tar.gz ）

cd /usr/local/src

wget http://zlib.net/zlib-1.2.11.tar.gz
tar -zxvf zlib-1.2.11.tar.gz
cd zlib-1.2.11
./configure
make
make install

四、安装openssl（某些vps默认没装ssl)
cd /usr/local/src
wget https://www.openssl.org/source/openssl-1.0.1t.tar.gz
tar -zxvf openssl-1.0.1t.tar.gz
五、安装nginx
　　Nginx 一般有两个版本，分别是稳定版和开发版，您可以根据您的目的来选择这两个版本的其中一个，下面是把 Nginx 安装到 /usr/local/nginx 目录下的详细步骤：

cd /usr/local/src
wget http://nginx.org/download/nginx-1.1.10.tar.gz
tar -zxvf nginx-1.1.10.tar.gz
cd nginx-1.1.10
./configure
make
make install

注：这里可能会出现报错
　　

　　按照第四步方法或者
　　ubuntu下
apt-get install openssl
apt-get install libssl-dev
　　centos下
yum -y install openssl openssl-devel
六、启动nginx
　　因为可能apeache占用80端口，apeache端口尽量不要修改，我们选择修改nginx端口。
　　linux 修改路径/usr/local/nginx/conf/nginx.conf，Windows 下 安装目录\conf\nginx.conf。
　　修改端口为8090，localhost修改为你服务器ip地址。（成功就在眼前！！）
　　

　　启动nginx
netstat -ano|grep 80
　　如果查不到执行结果，则忽略上一步（ubuntu下必须用sudo启动，不然只能在前台运行）
sudo /usr/local/nginx/nginx
七、nginx重启、关闭、启动
启动
启动代码格式：nginx安装目录地址 -c nginx配置文件地址
例如：
[root@LinuxServer sbin]# /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf
安装完成一般常用命令
进入安装目录中，
命令： cd /usr/local/nginx/sbin
启动，关闭，重启，命令：
./nginx 启动
./nginx -s stop 关闭
./nginx -s reload 重启
停止
nginx的停止有三种方式：
从容停止
　　1、查看进程号
[root@LinuxServer ~]# ps -ef|grep nginx

2、杀死进程
[root@LinuxServer ~]# kill -QUIT 2072

快速停止
1、查看进程号
[root@LinuxServer ~]# ps -ef|grep nginx

2、杀死进程
[root@LinuxServer ~]# kill -TERM 2132
或 [root@LinuxServer ~]# kill -INT 2132

强制停止

[root@LinuxServer ~]# pkill -9 nginx

重启
1、验证nginx配置文件是否正确
方法一：进入nginx安装目录sbin下，输入命令./nginx -t
看到如下显示nginx.conf syntax is ok
nginx.conf test is successful
说明配置文件正确！

方法二：在启动命令-c前加-t

2、重启Nginx服务
方法一：进入nginx可执行目录sbin下，输入命令./nginx -s reload 即可

方法二：查找当前nginx进程号，然后输入命令：kill -HUP 进程号 实现重启nginx服务

八、最终结果：

九、项目文件存放路径
　　放到这个文件下，创建文件夹放入就好。

参考文章：http://www.nginx.cn/install
捌、rabbitmq
在linux下安装配置rabbitMQ详细教程
官网： http://www.rabbitmq.com/install-rpm.html

在linux下安装配置rabbitMQ详细教程

Erlang

由于RabbitMQ依赖Erlang， 所以需要先安装Erlang。
Erlang的安装方式大概有两种：
从Erlang Solution安装(推荐)

添加erlang solutions源

$ wget https://packages.erlang-solutions.com/erlang-solutions-1.0-1.noarch.rpm
$ sudo rpm -Uvh erlang-solutions-1.0-1.noarch.rpm

$ sudo yum install erlang

从EPEL源安装(这种方式安装的Erlang版本可能不是最新的，有时候不能满足RabbitMQ需要的最低版本)

启动EPEL源

$ sudo yum install epel-release

安装erlang

$ sudo yum install erlang

完成后安装RabbitMQ：
先下载rpm：
wget http://www.rabbitmq.com/releases/rabbitmq-server/v3.6.6/rabbitmq-server-3.6.6-1.el7.noarch.rpm
下载完成后安装：
yum install rabbitmq-server-3.6.6-1.el7.noarch.rpm

安装时如果遇到下面的依赖错误
Error: Package: socat-1.7.2.3-1.el6.x86_64 (epel)
Requires: libreadline.so.5()(64bit)

可以尝试先执行
$ sudo yum install socat

关于RabbitMQ的一些基本操作
$ sudo chkconfig rabbitmq-server on # 添加开机启动RabbitMQ服务
$ sudo /sbin/service rabbitmq-server start # 启动服务
$ sudo /sbin/service rabbitmq-server status # 查看服务状态
$ sudo /sbin/service rabbitmq-server stop # 停止服务

查看当前所有用户

$ sudo rabbitmqctl list_users

查看默认guest用户的权限

$ sudo rabbitmqctl list_user_permissions guest

由于RabbitMQ默认的账号用户名和密码都是guest。为了安全起见, 先删掉默认用户

$ sudo rabbitmqctl delete_user guest

添加新用户

$ sudo rabbitmqctl add_user username password

设置用户tag

$ sudo rabbitmqctl set_user_tags username administrator

# 赋予用户默认vhost的全部操作权限
$ sudo rabbitmqctl set_permissions -p / username “." ".” “.*”

# 查看用户的权限
$ sudo rabbitmqctl list_user_permissions username

更多关于rabbitmqctl的使用，可以参考帮助手册。
开启web管理接口
如果只从命令行操作RabbitMQ，多少有点不方便。幸好RabbitMQ自带了web管理界面，只需要启动插件便可以使用。
$ sudo rabbitmq-plugins enable rabbitmq_management

然后通过浏览器访问
http://localhost:15672
输入用户名和密码访问web管理界面了。
配置RabbitMQ
关于RabbitMQ的配置，可以下载RabbitMQ的配置文件模板到/etc/rabbitmq/rabbitmq.config, 然后按照需求更改即可。
关于每个配置项的具体作用，可以参考官方文档。
更新配置后，别忘了重启服务哦！
开启用户远程访问
默认情况下，RabbitMQ的默认的guest用户只允许本机访问， 如果想让guest用户能够远程访问的话，只需要将配置文件中的loopback_users列表置为空即可，如下：
{loopback_users, []}

另外关于新添加的用户，直接就可以从远程访问的，如果想让新添加的用户只能本地访问，可以将用户名添加到上面的列表, 如只允许admin用户本机访问。
{loopback_users, [“admin”]}

更新配置后，别忘了重启服务哦！
sudo /sbin/service rabbitmq-server status # 查看服务状态
这里可以看到log文件的位置，转到文件位置，打开文件：
这里显示的是没有找到配置文件，我们可以自己创建这个文件
cd /etc/rabbitmq/
vi rabbitmq.config
编辑内容如下：
[{rabbit, [{loopback_users, []}]}].
这里的意思是开放使用，rabbitmq默认创建的用户guest，密码也是guest，这个用户默认只能是本机访问，localhost或者127.0.0.1，从外部访问需要添加上面的配置。
保存配置后重启服务：
service rabbitmq-server stop
service rabbitmq-server start
此时就可以从外部访问了，但此时再看log文件，发现内容还是原来的，还是显示没有找到配置文件，可以手动删除这个文件再重启服务，不过这不影响使用
rm rabbit@mythsky.log
service rabbitmq-server stop
service rabbitmq-server start
注意:记得要开放5672和15672端口
[java] view plain copy

/sbin/iptables -I INPUT -p tcp --dport 5672 -j ACCEPT
/sbin/iptables -I INPUT -p tcp --dport 15672 -j ACCEPT

redis

安装：
1.获取redis资源
　　wget http://download.redis.io/releases/redis-4.0.8.tar.gz
2.解压
　　tar xzvf redis-4.0.8.tar.gz
3.安装
　　cd redis-4.0.8
　　make
　　cd src
　　make install PREFIX=/usr/local/redis
（如果有执行出错，先安装gcc。安装命令为：yum -y install gcc automake autoconf libtool make 。
若出现【zmalloc.h:50:31: 致命错误：jemalloc/jemalloc.h：没有那个文件或目录】，则运行命令make MALLOC=libc）
4.移动配置文件到安装目录下
　　cd …/
　　mkdir /usr/local/redis/etc
　　mv redis.conf /usr/local/redis/etc
5.配置redis为后台启动
　　vi /usr/local/redis/etc/redis.conf //将daemonize no 改成daemonize yes
6.将redis加入到开机启动
　　vi /etc/rc.local //在里面添加内容：/usr/local/redis/bin/redis-server /usr/local/redis/etc/redis.conf (意思就是开机调用这段开启redis的命令)
7.开启redis
　　/usr/local/redis/bin/redis-server /usr/local/redis/etc/redis.conf

8.常用命令　　
　　redis-server /usr/local/redis/etc/redis.conf //启动redis
　　pkill redis //停止redis
　　卸载redis：
　　　　rm -rf /usr/local/redis //删除安装目录
　　　　rm -rf /usr/bin/redis-* //删除所有redis相关命令脚本
　　　　rm -rf /root/download/redis-4.0.4 //删除redis解压文件夹
9.采用redis desktop manager远程连接的配置
接下里我们在配置文件redis.conf中进行相关的配置

#打开配置文件
vim redis.conf
在vim编辑模式下，输入行数+gg可以快捷跳行。例如跳到第138行，输入：138gg
将第138行的daemonize no修改为daemonize yes即可
设置后台启动

开启远程访问
将第70行的bind注释，第90行将protected-mode改为no

设置密码
取消第502行的注释，并修改密码

接下来重启redis：
redis-server
查看端口：ps aux|grep redis
#首先查询到redis的pid后，kill掉,然后重启
[root@localhost bin]# ps -ef|grep redis
root 20940 1 0 12:12 ? 00:00:18 ./redis-server *:6379
[root@localhost bin]# kill 20940
[root@localhost bin]# ./redis-server redis.conf

后台启动成功如下