- 博客(6)
- 收藏
- 关注
RSS订阅转载 大数据平台CDH和Impala的使用
文章目录一、CDH的介绍二、Impala概念2.1 什么是Impala2.2 Impala的优缺点2.3 Impala的架构2.4 Impala的数据类型三、Im...
2020-08-09 23:56:17
2628
2
转载 CDH和CM介绍及搭建
[隐藏]1CDH和CM简介1.1什么是CDH1.2什么是CM1.3CM架构1.4心跳1.5CM 功能1.5.1配置管理1.5.2进程管理1.5.3软件包管理1.5.4主机管理1.5.5资源管理1.5.6用户管理1.5.7安全管理1.5.8管理服务2CM 5.14 搭建2.1环境的规划2.2主机环境准备2.3安装和配置元数据库2.4安装和配置CM2.5启动和验证CM2.6安装CDH 5.13.02.7无公网连接的安装说明3后记1.CDH和CM简介1.1.什么是CDHCDH（Cloudera’...
2020-08-09 23:41:19
4736
1
原创 关于工作流调度器Azkaban与Oozie对比
1.功能方面：Azkaban和Oozie都可以调用像shell脚本、MR、hive任务、spark、java等工作流任务，并且都可以设置任务来执行。2.关于框架：azkaban是一个轻量级的框架，开发较为简单，有良好的web界面对任务可以随时进行查看监控。oozie是一个基于hadoop的分布式的工作流调度框架，相对于azkaban的来讲oozie的web页面不是很友好，执行调度时会启动MR任务，需要使用xml文件配置工作流，有一定的难度，是一个重量级框架，从框架的重量级上来说相对于oozie而言a
2020-08-08 11:25:16
497
原创 Azkaban入门，部署安装和案例
目录一：Azkaban入门简介二：Azkaban的部署安装2.1:安装azkaban2.2:生成密钥对和证书2.3:时间同步配置2.4:Web server服务器和执行服务器配置2.5:启动executor服务器和web服务器三：Azkaban的应用案例3.1:单一的job案例3.2:调度shell脚本案例一：Azkaban入门简介二：Azkaban的部署安装2.1:安装azkaban1.在hadoop102上的/opt/module下创建azkaban目录[root@hadoop102 modu
2020-08-06 20:29:12
447
原创 oozie的调度案例
在上篇博客中介绍了关于oozie的安装相关内容，本篇来讲述一下oozie的使用案列案例一：调度shell脚本案例1）解压官方案例模板[root@hadoop102 oozie-4.0.0-cdh5.3.6]# tar -zxvf oozie-examples.tar.gz2）创建oozie-apps目录[root@hadoop102 oozie-4.0.0-cdh5.3.6]# mkdir oozie-apps3）拷贝任务模板到oozie-apps[root@hadoop102 oozie-4
2020-08-01 16:55:37
293
原创 Oozie的安装部署(配CDH版hadoop)
由于Oozie需要和其他框架有着良好的兼容性，为了后续的方便，我们这里在原有Apache版的hadoop情况下，在部署一个CDH版本的hadoop三：CDH版本的hadoop简单部署：(注意：本节内容是建立在我上次搭建Apache原生的hadoop下搭建的，因为在上次的搭建类似于jdk之类的我都安装了，[https://blog.csdn.net/weixin_44080445/article/details/106009359](https://blog.csdn.net/weixin_4408..
2020-08-01 16:47:31
748
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人