- 博客(3)
- 收藏
- 关注
RSS订阅原创 Kylin集群部署及基本架构简介
一、基本架构及原理实现:利用hadoop中MapReduce框架对hive表中的数据进行预计算，将预计算结果缓存至Hbase中，解决TB级数据分析需求原理架构参考：https://www.cnblogs.com/tgzhu/p/6113334.html解决问题：解决海量数据上进行快速查询的难题解决方案：对于超大数据集的复杂查询，由于现场计算需要花费较长时间，根据空间换时间的原...
2019-10-12 17:18:48
1131
原创 zeppelin 基于yarn-cluster模式环境部署
一、环境:Spark-2.2.1-bin-hadoop2.7、zeppelin-0.8.1-bin-all、hadoop及hive环境二、步骤:1、下载zeppelin0.8.0及以上版本(支持yarn-cluster模式)，下载地址：https://zeppelin.apache.org/download.htmlzeppelin-0.8.1-bin-all.tgz(1)...
2019-10-12 16:44:15
1319
原创 mysql触发器+mysqlduf执行系统命令
背景：文件上传至hdfs，上传成功后插将hdfs文件目录存至mysql数据库，当文件目录成功插入mysql后，触发系统执行shell脚本，将hdfs文件建立solr索引一、lib_mysqludf_sys相关配置1、安装mysql (见mysql安装文档)2、下载lib_mysqludf_sys-master.zip并解压 unziplib_mysqludf_sys-master....
2019-09-11 21:44:32
963
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人