CDH+Kylin三部曲之一：准备工作

最新推荐文章于 2024-04-14 12:32:50 发布
最新推荐文章于 2024-04-14 12:32:50 发布
阅读量1.5k 收藏 1
点赞数
分类专栏： 大数据实战 文章标签： CDH kylin ansible
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/boling_cavalry/article/details/105449630
版权

本文是《CDH+Kylin三部曲》的第一篇，整个系列由以下三篇组成：

  1. 准备工作：搭建CDH+Kylin环境前，将所有硬件、软件资源准备好
  2. 部署和设置：部署CDH和Kylin，再做相关设置
  3. Kylin实战：在搭好的环境上运行Kylin官方demo

整个三部曲的实战内容如下图所示：
在这里插入图片描述
接下来，就从最基本的准备工作开始吧。

关于CDH与Kylin

  1. Kylin的运行需要Hadoop、Hive、HBase等服务，因此用CDH来集中部署这些应用更为方便，下图来自Kylin官方，可见是支持CDH的：
    在这里插入图片描述
  2. 官方说支持CDH6.0版本，但实际部署中发现Kylin2.6在CDH6.0.1环境启动会有问题，经尝试发现Kylin2.6+CDH5.16可以正常运行，本次实战就用这样的版本搭配；

部署方式

ansible是常用的运维工具，可大幅度简化整个部署过程，接下来会使用ansible来完成部署工作，如果您对ansible还不够了解，请参考《ansible2.4安装和体验》，部署操作如下图所示，在一台安装了ansible的电脑上运行脚本，由ansible远程连接到一台CentOS7.7的服务器上，完成部署工作：
在这里插入图片描述

硬件准备

  1. 一部能运行ansible的电脑，我用的是MacBook Pro，也用CentOS验证过，都能顺利完成部署；
  2. 一台CentOS7.7电脑，用于运行HDFS、Hive、HBase、Spark、Kylin等所有服务(后续文中的CDH服务器就是指该电脑)，用一台机器部署所有服务仅适用于学习和开发阶段，实测发现，此电脑CPU至少要双核，内存不低于16G，如果您想用多台电脑部署CDH，建议自行修改ansible脚本来分别部署，脚本地址后面会给出；

CDH服务器设置

需要登录CDH服务器做以下设置：

  1. 检查/etc/hostname文件是否正确，如下图：
    在这里插入图片描述
  2. 修改/etc/hosts文件，将自己的IP地址和hostname配置上去，如下图红框所示（事实证明这一步很重要，如果不做可能导致在部署时一直卡在"分配"阶段，看agent日志显示agent下载parcel的进度一直是百分之零）：
    在这里插入图片描述

下载文件(ansible电脑)

本次实战一共要准备13个文件，这里用表格列举如下：

编号文件名简介
1jdk-8u191-linux-x64.tar.gzLinux版的jdk安装包
2mysql-connector-java-5.1.34.jarmysql的JDBC驱动
3cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpmcm的server安装包
4cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpmcm的daemon安装包
5cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpmcm的agent安装包
6CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcelCDH应用离线安装包
7CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.shaCDH应用离线安装包sha验证码
8apache-kylin-2.6.4-bin-cdh57.tar.gzkylin安装包(适配CDH版本)
9hostsansible用到的远程主机配置，里面记录了CDH6服务器的信息
10ansible.cfgansible用到的配置信息
11cm6-cdh5-kylin264-single-install.yml部署CDH时用到的ansible脚本
12cdh-single-start.yml初次启动CDH时用到的ansible脚本
13var.yml脚本中用到的变量都在在此设值，
例如CDH包名、flink文件名等，便于维护

下面是每个文件的下载地址：

  1. jdk-8u191-linux-x64.tar.gz：Oracle官网可下，另外我将jdk-8u191-linux-x64.tar.gz和mysql-connector-java-5.1.34.jar一起打包上传到csdn，您可以一次性下载，地址：https://download.csdn.net/download/boling_cavalry/12098987

  2. mysql-connector-java-5.1.34.jar：maven中央仓库可下，另外我将jdk-8u191-linux-x64.tar.gz和mysql-connector-java-5.1.34.jar一起打包上传到csdn，您可以一次性下载，地址：https://download.csdn.net/download/boling_cavalry/12098987

  3. cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

  4. cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

  5. cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

  6. CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel：https://archive.cloudera.com/cdh5/parcels/5.16.2/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel

  7. CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha：https://archive.cloudera.com/cdh5/parcels/5.16.2/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha1 （下载完毕后，将扩展名从.sha1为.sha）

  8. apache-kylin-2.6.4-bin-cdh57.tar.gz：https://archive.apache.org/dist/kylin/apache-kylin-2.6.4/apache-kylin-2.6.4-bin-cdh57.tar.gz

  9. hosts、ansible.cfg、cm6-cdh5-kylin264-single-install.yml、cdh-single-start.yml、vars.yml ：这五个文件都保存在我的GitHub仓库，地址是：https://github.com/zq2599/blog_demos ，这里面有多个文件夹，上述文件在名为ansible-cm6-cdh5-kylin264-single的文件夹中，如下图红框所示：
    在这里插入图片描述

文件摆放(ansible电脑)

如果您已经下载好了上述13个文件，请按照如下位置摆放，这样才能顺利完成部署：

  1. 在家目录下新建名为playbooks的文件夹：mkdir ~/playbooks
  2. 把这五个文件放入playbooks文件夹：hosts、ansible.cfg、cm6-cdh5-kylin264-single-install.yml、cdh-single-start.yml、vars.yml
  3. 在playbooks文件夹里新建名为cdh6的子文件夹；
  4. 把这八个文件放入cdh6文件夹(即剩余的八个)：jdk-8u191-linux-x64.tar.gz、mysql-connector-java-5.1.34.jar、cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm、cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm、cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm、CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel、CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha、apache-kylin-2.6.4-bin-cdh57.tar.gz
  5. 摆放完毕后目录和文件情况如下图，再次提醒：文件夹playbooks一定要放在家目录下（即：~/）：
    在这里插入图片描述

ansible参数设置(ansible电脑)

ansible参数设置的操作设置很简单：配置好CDH服务器的访问参数即可，包括IP地址、登录账号、密码等，修改~/playbooks/hosts文件，内容如下所示，您需要根据自身情况修改deskmini、ansible_host、ansible_port、ansible_user、ansible_password：

[cdh_group]deskmini ansible_host=192.168.50.134 ansible_port=22 ansible_user=root ansible_password=888888

至此，所有准备工作已完成，下一篇文章我们将完成这些操作：

  1. 部署CDH和Kylin
  2. 启动CDH
  3. 设置CDH、在线安装Yarn、HDFS等
  4. 调整HDFS、Yarn参数
  5. 修改Spark设置(否则Kylin启动会失败)
  6. 启动Kylin

欢迎关注我的公众号：程序员欣宸

在这里插入图片描述

程序员欣宸
关注
专栏目录
Kylin单机集成CDH
qq_29242877的博客
01-08 1291
Apache Kylin是一个开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力（可以把Kylin定义为OLAP on Hadoop）。Apache Kylin于2015年11月正式毕业成为Apache基金会(ASF) 顶级项目，是第一个由中国团队完整贡献到Apache的顶级项目。  分享之前我还是要推荐下我自己创建的大数据学习资料分享群 232840209，不
CDH+Kylin三部曲之三：Kylin官方demo
程序员欣宸的博客
04-11 847
本文是《CDH+Kylin三部曲》系列的终篇，一起来实践kylin官方的demo
Kylin1.6在CDH下安装部署
TURING.DT
01-12 4731
一、下载kylin 访问URL:http://kylin.apache.org/cn/ 下载文件apache-kylin-1.6.0-cdh5.7-bin.tar.gz并上传到opt目录解压 tar –zxvf apache-kylin-1.6.0-cdh5.7-bin.tar.gz 如果是5.5、5.7版本，也是下载for CDH 5.5/5.7/5.8 - apache-kylin-1
apache Kylin搭建 CDH版本
java、python、大数据
09-21 3979
apache-kylin 下载kylin: wget http://apache.fayea.com/kylin/apache-kylin-1.5.4/apache-kylin-1.5.4-cdh5.7-bin.tar.gz 解压kylin: tar -zvxf apache-kylin-1.5.4-cdh5.7-bin.tar.gz -C /opt 修改配置文件： vim /op
Kylin与CDH兼容性剖析
weixin_33695082的博客
11-10 162
1. 概述 　　Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。 2. 内容 　　在集成Kylin到CDH Hadoop环境中时，发现新版本Kylin-2.2.0无法集成到CDH Ha...
CDH+Kylin三部曲之一：准备工作(1)
2401_83916241的博客
04-08 533
做任何事情都要用心，要非常关注细节。看起来不起眼的、繁琐的工作做透了会有意想不到的价值。当然要想成为一个技术大牛也需要一定的思想格局，思想决定未来你要往哪个方向去走, 建议多看一些人生规划方面的书籍,多学习名人的思想格局，未来你的路会走的更远。更多的技术点思维导图我已经做了一个整理，涵盖了当下互联网最流行99%的技术点，在这里我将这份导图分享出来，以及为金九银十准备的一整套面试体系，上到集合，下到分布式微服务《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》
CDH+Kylin三部曲之二：部署和设置
最新发布
2301_79655496的博客
04-14 659
一次偶然，从朋友那里得到一份“java高分面试指南”，里面涵盖了25个分类的面试题以及详细的解析：JavaOOP、Java集合/泛型、Java中的IO与NIO、Java反射、Java序列化、Java注解、多线程&并发、JVM、Mysql、Redis、Memcached、MongoDB、Spring、Spring Boot、Spring Cloud、RabbitMQ、Dubbo 、MyBatis 、ZooKeeper 、数据结构、算法、Elasticsearch 、Kafka 、微服务、Linux。
CDH+集群安全启动和关闭.doc
03-11
#### 三、安全关闭CDH集群步骤 ##### 1. 停止Cloudera SCM Agent - **目的**：Cloudera Manager通过Cloudera SCM Agent来管理各个节点上的服务。首先需要停止这些代理服务，以确保各节点上的服务能够有序关闭。 - ...
Kylin系列2-CDH 6.3.1 集成Kylin
只是甲的博客
01-20 447
文章目录一. Kylin下载二. Kylin 安装2.1 解压2.2 安装2.2.1 遇到hdfs权限问题2.2.2 集成HBase报错参考: 一. Kylin下载 清华的镜像源上居然可以下载到kylin集成cdh版本的，nice。 mkdir -p /home/kylin cd /home/kylin wget https://mirrors.tuna.tsinghua.edu.cn/apache/kylin/apache-kylin-3.1.2/apache-kylin-3.1.2-bin-cdh60.
apache-kylin-3.1.0-bin-cdh60.tar.gz
04-06
apache-kylin-3.1.0-bin-cdh60.tar.gz
Kylin3.1.1集成CDH6.2.1
summer089089的博客
11-18 412
1 kylin安装 1.1 修改环境变量 vim /etc/profie #JAVA_HOME export JAVA_HOME=/usr/java/jdk1.8.0_144 #HADOOP_HOME export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop #HBASE_HOME export HBASE_HOME=/opt/cloudera/parcels/CDH/lib/hbase #HIVE_HOME export HIVE_HOME=/
Apache Kylin CDH版本安装部署
xiaoji88326518的专栏
08-07 1850
1   Kylin安装部署 1.1  Kylin安装步骤 l  下载Kylin安装包 登录http://www.apache.org/dyn/closer.cgi/kylin/apache-kylin-1.6.0/apache-kylin-1.6.0-cdh5.7-bin.tar.gz下载安装包 l  解压安装包 tar -zxvf apache-kylin-1.6.0-cdh5.7-b
CDH5.17安装部署Kylin2.1.0
杨鑫newlife的专栏
11-21 483
1.环境CDH-5.17； 2.JDK 1.8； 3.官网下载 apache-kylin-2.1.0-bin-cdh57.tar.gz； 4.rz上传服务器，使用root账户操作； 5.cd /opt/cloudera/parcels/ 切换目录并将上传的组件放在该目录下； 6.tar -zxvf ./xxxx解压组件并重命名为kylin； 7.cd ./kylin; 8../bin...
CDH 6.3.1整合Zeppelin 0.8.2
wzy0623的专栏
03-11 2324
Zeppelin是一个基于Web的笔记本，可以直接在浏览器中编写代码，对数据进行查询分析并生成报表或图表，做出数据驱动的、交互、协作的文档，并且可以共享笔记。Zeppelin提供了内置的Apache Spark集成，提供的功能有： 自动引入SparkContext 和 SQLContext 从本地文件系统或maven库载入运行时依赖的jar包。 可取消Spark作业和展示...
基于cdh的大数据平台，单独为kylin部署额外的hbase
freezhou1202的博客
07-15 720
正常情况下，kylin需要进行读写分离，因为kylin的工作负载分为    1.计算cube。调用mapreduce 批量计算，mapreduce需要重复落盘操作，延时时间很长，需要不断的调用cpu与io。    2. 基于kylin数据源的在线实时查询计算，基于cube的计算结果，数据存储于hbase，都是查询操作，就要求相应快，延迟低了当然假如cube的计算时间与实时查询时间能够做到完美的分离...
CDH6.3.2中安装kylin4
刘寒的技术blog
04-02 2645
1、从kylin官网下载kylin4 因为看到版本4使用spark构建crub存与parquet中，更快更省更先进，且官网写支持cdh6 实际中kylin4要想跑起来还是很不顺利的 过程中还试验了kylin3，效果更差，启动都不行 2、选择1个kerberos认证过的用户，需要有hdfs权限？登录主机 配置kylin的整个目录的own和group都是这个用户（chgown） 配置kylin.propertes，修改其中mysql数据库的配置(前提是要安装好mysql，分配好库和用户权限等)
基于CDH的Kylin读写分离多维分析平台搭建指南
"本文档详述了如何在CDH5.7.1环境中构建一个采用读写分离策略的Kylin多维分析平台。该平台已经在生产环境中得到应用，涉及的步骤包括主机规划与配置、基础组件安装、CDH组件安装、Kylin集群部署以及样例测试。搭建...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员欣宸

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值