![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
CDH
CharonLR
这个作者很懒,什么都没留下…
展开
-
CDH5.11.2集群安装部署
1、 主机分配以七台测试虚拟机为例:七台主机名分别为:cm、master1、master2、master3、node1、node2、node3对应的ip为:192.168.138.141 ——192.168.138.1472、修改静态IP因为除cm外都是克隆虚拟机机,所以首先要解决克隆机的静态IP跟主机名更改问题,更改cm为例:vi /etc/udev/rules.d/70-pers...原创 2019-05-08 15:46:32 · 471 阅读 · 1 评论 -
CDH中Sqoop的使用心得
Sqoop服务添加Sqoop版本选择CDH自带两个版本sqoop组件这里选择1.4.6版本也就是sqoop1,1.99.5版本是sqoop2,是半成品,不支持关系型DB到Hive跟Hbase,故不推荐使用Sqoop导入mySql数据到Hive操作1、测试MySQL连接sqoop list-databases --connect jdbc:mysql://192.168.20.160...原创 2019-05-08 15:59:04 · 4143 阅读 · 1 评论 -
CDH常用优化配置项
搜集了CDH常用的hive配置可进行优化的配置项1.hive.metastore.warehouse.dirHive 仓库目录是在 HDFS 中存储 Hive 表格的位置。注意此仓库目录的 Hive 默认值为“/user/hive/warehouse”。2.hive.warehouse.subdir.inherit.perms让表目录继承仓库或数据库目录的权限,替代使用从 dfs umas...原创 2019-05-13 17:46:27 · 2589 阅读 · 0 评论 -
CDH Hive集成Hbase
1.背景Hive是建立在Hadoop之上的数据仓库基础构架、是为了减少MapReduce编写工作的批处理系统,Hive本身不存储和计算数据,它完全依赖于HDFS和MapReduce。Hive可以理解为一个客户端工具,将我们的sql操作转换为相应的MapReduce jobs,然后在Hadoop上面运行。HBase全称为Hadoop Database,即HBase是Hadoop的数据库,是一个...原创 2019-05-16 11:57:18 · 754 阅读 · 0 评论 -
CDH环境部署Elasticsearch集群
1.环境说明1.1、linux系统(我这里是centos6.8)1.2、jdk(我这里安装的Java1.8版本)1.3、hadoop平台(我这里使用的cdh搭建的,hive版本为1.1.0)2.安装单节点ES2.1、下载es安装包,去https://www.elastic.co/cn官网下载,因为最新更新到7X版本,所以这里选择6X最后一个版本Elasticsearch 6.7.2下载,...原创 2019-05-17 15:29:22 · 4807 阅读 · 2 评论