- 博客(8)
- 收藏
- 关注
RSS订阅原创 CDH集成Elasticsearch/Kibana/ik分词器
一、Elasticsearch部署CDH中没有官方提供的Elasticsearch的parcel包，但是问题不大，CDH提供了一个编译工具可以自行打parcel包。对于其他的分布式工具大部分都可以通过这种方式进行CDH安装，由CDH进行统一的分配、配置管理。目前该方法适用于CDH5.X和6.X版本，对于6.X版本需要稍做修改，下面会有详细说明。1.1 制作Elasticsearch的Parcel包和csd文件1.1.1安装java、git、maven等，配置环境变量这里java由于之前已经安装过，
2021-04-30 15:52:52
1027
3
原创 MongoDB部署与对接CDH的Hive
本篇文章，参考了两位大佬的博客，稍微做了一些修改，仅仅供参考。一、MongoDB部署1.1 软件版本CDH6.2.1MongoDB3.4.24CentOS71.2 下载点击链接https://www.mongodb.com/try/download/community，进入官网下载rpm文件：我们需要下载四个package:1、server: mongoDB的服务端程序2、utilities: 附加工具，如数据导入导出（可选）3、mongos: 部署集群（可选）4、shell: 用
2021-04-30 11:32:40
413
2
原创 CDH查看各组件版本号
有查看过相关博主的文章（https://blog.csdn.net/levy_cui/article/details/51513900?utm_term=cdh%E6%9F%A5%E7%9C%8Bhive%E7%89%88%E6%9C%AC&utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2allsobaiduweb~default-1-51513900&spm=3001.4430），自己的操作记录有所不同，记录供参
2021-03-30 11:20:14
405
1
原创 win10(小新pro)使用vm虚拟机电脑蓝屏问题
问题描述：之前虚拟机一直是正常使用的，由于昨天晚上下载任务就没关机，早上发现虚拟机自动关了，然后一打开虚拟机window系统就出现蓝屏现象，
2021-01-22 12:15:22
22482
14
原创 启动kylin时报错
测试时启动kylin报错Failed to find metadata store by url: kylin_metadata@hbase和一堆org.apache.hadoop.hbase.ipc.RemoteWithExtrasException(org.apache.hadoop.hbase.NotServingRegionException): org.apache.hadoop.hbase.NotServingRegionException: hbase:meta,1 is not onlin
2020-10-21 19:00:33
889
原创 hive的三种rank函数区别
hive的三种rank函数区别小记*由于今天工作时，忘记了hive的三种rank函数的具体区别，在此记录。rank() 排序相同时会重复，总数不会变。比如可以有两个第二，紧接着就是第四。总数就不会变。**dense_rank() 排序相同时会重复，总数会减少。**比如两个第二，紧接着是第三，不会跳过，所以总数会减少。row_number() 会根据顺序计算。直接1，2，3，4，5按顺序排，总数也不会变。比如两个人一样的排名都是第二，就会有一个第二，一个第三。...
2020-10-09 22:56:44
1111
原创 向mysql中导入数据库文件
如何向mysql数据库导入数据库当我们安装好mysql后，会有需求将本地文件中的数据库文件导入数据库中，具体步骤如下：1.双击打开mysql ，进入这个界面：
2020-09-29 22:32:58
5226
原创 scala样例类使用时遇到的小问题
样例类使用中的小问题：mport org.apache.spark.SparkConfimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.{Dataset, SaveMode, SparkSession}object SparkSQL11_MySQL_Write { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName
2020-09-29 22:30:04
343
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人