Kylin4.0 beta版部署

最新推荐文章于 2023-09-25 14:30:07 发布

不住在隔壁的老王

最新推荐文章于 2023-09-25 14:30:07 发布

阅读量429

点赞数

分类专栏： Kylin 文章标签： kylin

本文链接：https://blog.csdn.net/u012355401/article/details/116944852

版权

本文档详细介绍了如何在CDH6.3.2环境下部署Kylin4.0 beta版，包括准备多台CentOS7系统机器，设置环境，安装Mysql数据库，部署CDH，以及最后的Kylin部署步骤。重点关注新特性如Spark唯一构建引擎和Parquet存储。

摘要由CSDN通过智能技术生成

Kylin4.0 beta版部署

新特性

Spark唯一构建引擎
引入parquet, 正在踢出HBase
可存储到HDFS

1. 准备机器

准备三台机器, 系统CentOS7, 切记, 后续安装CDH版本为6.3.2, 高版本系统不支持
改hosts, ssh, 免密登录
改用户可打开文件数量

* vi /etc/security/limits.conf
*    soft    nofile   32728
*    hard    nofile   1024999
*    soft    nproc    65535
*    hard    noroc    unlimited
*    soft    memlock    unlimited
*    hard    memlock    unlimited
* sysctl -p

禁用透明大页面压缩

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

并将上面的两条命令写入开机自启动/etc/rc.local。

设置swap空间(所有节点)

echo "vm.swappiness = 0" >> /etc/sysctl.conf

2. 准备数据库

主节点安装Mysql
创建用户,数据库, 后续使用, 安装什么服务就建对应的数据库, 或者到后续配置前创建

-- cloudera-manager
CREATE DATABASE scm DEFAULT CHARACTER SET utf8;
CREATE USER 'scm'@'%'IDENTIFIED BY 'Kylin@2021!';
GRANT ALL PRIVILEGES ON scm.* TO 'scm'@'%' IDENTIFIED BY 'Kylin@2021!'; 
GRANT ALL PRIVILEGES ON *.* TO 'scm'@'%