大数据学习记录
文章平均质量分 53
晨阳夜雨
这个作者很懒,什么都没留下…
展开
-
kylin计算百分比
1.多cube关联查询数据with tmp1 as ( select * from user where type =1) ,tmp 2 as ( select * from info where area_code ='1.1.1'),tmp3 as ( select * from people )select * from tmp t1 left join tmp2 t2 on t1.A=t2.B and t1.C=t2.D left join tmp3 t3 on t1.A=t3原创 2021-09-06 18:24:12 · 423 阅读 · 2 评论 -
Davinci-Kylin使用记录
kylin构建cube报错,需要覆盖配置参数允许维表的快照大小的上限默认为300M,Hive中单表数据量过多时很容易突破这个限制。需要重写该配置参数。Kylin配置参数信息:https://kylin.apache.org/cn/docs/install/configuration.html#cube-config-overrideDavinci连接Kylin计算百分比Kylin中直接计算除法会对结果进行取整。结果小于1的都为0.需要使用cast函数将数据类型转化为double再进行计算拼接原创 2021-08-04 15:43:58 · 249 阅读 · 0 评论 -
Spark安装本地启动
下载并安装1.下载官网地址:https://archive.apache.org/dist/spark/spark-2.1.1/将下载好的压缩包spark-2.1.1-bin-hadoop2.7.tgz,上传到服务器。2.安装启动1.将压缩包解压到当前目录。2.进入bin目录执行命令 spark-shell。本地模式启动spark遇到的问题1.启动spark失败,提示 JAVA_HOME is not set解决办法:修改 sbin/spark-config.sh文件。原创 2021-05-21 17:52:11 · 326 阅读 · 0 评论