linux环境下cassandra+kdb集群的部署

Apache Cassandra介绍

（社区内一般简称为C*）

是一套开源分布式NoSQL数据库系统 

一种流行的分布式结构化数据存储方案。

Cassandra集群

基本流程：点对点分布式系统，集群中各节点平等，数据分布于集群中的各节点，各节点间每秒交换一次信息。

每个节点的commit log提交日志捕获写操作来确保数据持久性。数据先被写入MemTable（内存中的数据结构），待MemTable满后数据被写入SSTable（硬盘的数据文件）。

所有的写内容被自动在集群中partition分区并replication复制。

库表结构：

Cassandra数据库面向行。用户可连接至集群的任意节点，通过类似SQL的CQL查询数据。

1，安装包

cassandra-3.11.5安装包

链接：https://pan.baidu.com/s/1BYxV_ggU1Fh5xh2gpzyQRA 
提取码：zu6n

kdb-1.2.2安装包

链接：https://pan.baidu.com/s/1fgZT1hyfj13rflf0ga93lA 
提取码：a932

2.部署与运行cassandra

1）上传文件

上传提供的apache-cassandra-3.11.5-bin.tar.gz部署文件

2）解压安装（根据个人喜好选择解压位置）

tar -xvf apache-cassandra-3.11.5-bin.tar.gz -C /usr/local

3）修改配置文件

切换目录

 cd  /usr/local/apache-cassandra-3.11.5

修改配置文件位置

vi conf/cassandra.yaml

集群部署至少需要3个节点，每个节点配置文件内，除了listen_address和rpc_address修改为本机的IP地址，集群主题monitor Cluster和seed 3个节点保持一致即可，具体配置如下。

       1.修改集群名称，一个cassandra集群名称相同，cluster_name: 'xxxxx'（集群主题）

       2.修改集群seed属性，一个集群seeds配置应相同，集群部署至少配置1个cassandra节点的ip，多个ip用逗号分隔。三个节点的集群，建议配置1个

- seeds: "xxxxx"（种子节点ip）（除种子节点外的两个节点此处填种子节点ip）

       3.修改监听地址，修改为本机IP，listen_address:  xxxxx（本机ip,注意格式ip与冒号间有空格)

      4.修改rpc监听地址，修改为本机IP，rpc_address:  xxxxx(本机ip,注意格式ip与冒号间有空格)

    5.新建数据存储文件目录，并设置到配置文件，，本目录是具体存储性能数据的目录，可选择大数据盘新建目录，并修改对应配置，如果不配置则默认为安装cassandra的目录。(选配)

data_file_directories:

     - /data/cassandra/data(该目录创建在空间大的磁盘上，需事先创建)

commitlog_directory:  /data/cassandra/commitlog

saved_caches_directory:  /data/cassandra/saved_caches

  6.修改数据分区大小

        batch_size_warn_threshold_in_kb=200

        batch_size_fail_threshold_in_kb=2000

    7.启动运行

cassandra为集群方式部署，需要至少3个节点。同时Cassandra有启动顺序，首先启动seed节点的cassandra，启动完成后启动其他节点。

(1)启动节点

   配置完所有节点后，先启动种子节点，一次一个，然后再启动其他节点

   cd /usr/local/apache-cassandra-3.11.5（安装目录）

   sudo bin/cassandra -R

(2)查看进程

    ps -ef | grep cassandra

  (3)检查集群运行状态,UN为正常

 bin/nodetool status

​

注意事项：

 1）注意：子节点需关闭防火墙，防止子节点与种子节点通信失败     

具体可参照 linux环境关闭防火墙以及开放端口_小han的日常的博客-CSDN博客正在上传…重新上传取消https://blog.csdn.net/weixin_50464533/article/details/122487735?spm=1001.2014.3001.5501https://blog.csdn.net/weixin_50464533/article/details/122487735?spm=1001.2014.3001.5501

 2）针对已有运行cassandra集群，修改副本数，达到集群高可用目的

（1）切换到安装目录：cd apache-cassandra-3.11.10/bin

（2）运行cql进入命令行操作界面 

 ./cqlsh 本机ip

（3）确认副本数是否需要修改

执行命令

 describe keyspace kairosdb;

如果 replication_factor为1，则需要修改副本数

（4）修改副本数

ALTER KEYSPACE kairosdb WITH REPLICATION = {'class': 'SimpleStrategy', 'replication_factor' : 3} ;

（5）确认修改结果

执行命令 describe keyspace kairosdb;

成功截图如下所示即可：

3.部署与运行kairosdb

可参照

 linux环境下Kdb的单点部署_小han的日常的博客-CSDN博客正在上传…重新上传取消https://blog.csdn.net/weixin_50464533/article/details/122432584?spm=1001.2014.3001.5501https://blog.csdn.net/weixin_50464533/article/details/122432584?spm=1001.2014.3001.5501其中集群部署与单点部署配置文件中不同之处有下

1）修改cassandra的主机列表list，其中list为cassandra集群节点的ip地址，多个用逗号隔开

kairosdb.datastore.cassandra.cql_host_list=xxxx,xxxxx,xxxxxx

正常启动即可