![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 70
大数据坚为
数据创造价值,每天进步一点点~
展开
-
基于Seatunnel2.1.0连通Hive数仓和ClickHouse的实战
背景目前公司的分析数据基本存储在 Hive 数仓中,使用 Presto 完成 OLAP 分析,但是随着业务实时性增强,对查询性能的要求不断升高,同时许多数据应用产生,比如对接 BI 进行分析等,Presto不能满足需求,在这个阶段我们引入了ClickHouse,用来建设性能更强悍,响应时间更短的数据分析平台,以满足实时性要求,但如何连通 Hive 数仓和ClickHouse呢?没错,当然是 Seatunnel 啦!01 环境准备官方推荐的 seatunnel2.1.0+spark2.4.8+sc原创 2022-03-25 16:13:21 · 1104 阅读 · 0 评论 -
Hive hql 经典5道面试题
最近在深入了解Hive,尚硅谷的这5道题很经典,有引导意义,分步解题也很有用,故记录之,方便回看1.连续问题如下数据为蚂蚁森林中用户领取的减少碳排放量找出连续 3 天及以上减少碳排放量在 100 以上的用户id dt lowcarbon1001 2021-12-12 1231002 2021-12-12 451001 2021-12-13 431001 2021-12-13 451001 2021-12-13 231002 2021-12-14 451001 2021-12-14.原创 2022-01-25 15:33:32 · 7785 阅读 · 0 评论 -
基于Seatunnel连通Hive数仓和ClickHouse的实战
背景目前公司的分析数据基本存储在 Hive 数仓中,使用 Presto 完成 OLAP 分析,但是随着业务实时性增强,对查询性能的要求不断升高,同时许多数据应用产生,比如对接 BI 进行分析等,Presto不能满足需求,在这个阶段我们引入了ClickHouse,用来建设性能更强悍,响应时间更短的数据分析平台,以满足实时性要求,但如何连通 Hive 数仓和ClickHouse呢?没错,当然是 Seatunnel 啦!01 环境准备官方推荐的 seatunnel1.5.7+spark2.4.8+sc原创 2022-01-19 19:44:38 · 3721 阅读 · 0 评论 -
Atlas2.1.0实战:安装、配置、导入hive元数据、编译排坑
2022-01-12T09:31:21,610 INFO [main] org.apache.hadoop.hive.conf.HiveConf - Found configuration file file:/u/module/hive/conf/hive-site.xmlException in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/mapred/JobConf at org.apache.hadoop.hiv原创 2022-01-18 15:52:43 · 2972 阅读 · 2 评论 -
Hadoop硬件合理配置及raid方面的调研
文章目录前言一、Hadoop硬件合理配置二、Hadoo架构配置 三、raid方面前言最近公司在Hadoop服务器未来规划,所以调研了各个方面,有点杂乱,这里记录一下。原创 2021-12-08 11:17:32 · 3143 阅读 · 0 评论 -
hive导入ClickHouse时Spark读取Hive分区错误解决
项目场景:错误由来问题描述:java.lang.RuntimeException: Caught Hive MetaException attempting to get partition metadata by filter from Hive. You can set the Spark configuration setting spark.sql.hive.manageFilesourcePartitions to false to work around this problem, ho原创 2021-12-01 15:36:53 · 3298 阅读 · 0 评论 -
Hive动态分区导入ClickHouse时出现错误
项目场景:最近在将hive导入clickhouse,全量导入没有问题,增量导入时出现问题,这里记录下来hive源表:DROP TABLE IF EXISTS dwd_test;CREATE EXTERNAL TABLE dwd_test( id string COMMENT 'ID', name string COMMENT '名字', birthday string COMMENT '生日') COMMENT 'test' PARTITIO原创 2021-12-01 14:09:51 · 615 阅读 · 0 评论 -
ClickHouse与Presto及Hive性能对比(7亿数据)
数据量总量7.6亿,机台数据Hive中数据DROP TABLE IF EXISTS dwd_ipqc_online;CREATE EXTERNAL TABLE dwd_ipqc_online( MACH_ID string COMMENT '機台ID', MACH_IP string COMMENT '機台IP', CREATE_TIME string COMMENT '創建時間', IPQC_ONLINEID string COMME原创 2021-11-30 11:00:28 · 3446 阅读 · 0 评论 -
hive亿级数据导入ClickHouse并增量更新
项目场景:hive亿级数据导入ClickHouse,并每日导入(技术工具看上文)hive中表结构: 数据量7.6亿DROP TABLE IF EXISTS dwd_ipqc_online;CREATE EXTERNAL TABLE dwd_ipqc_online( MACH_ID string COMMENT '機台ID', MACH_IP string COMMENT '機台IP', CREATE_TIME string COMMENT '創原创 2021-11-30 10:27:31 · 3882 阅读 · 1 评论 -
Shlle脚本传参调用seatunnel(原waterdrop)将hive中数据导入ClickHouse
前言公司分析数据已经存入hive,但需要输入参数计算得到很长一段时间的趋势变化数据(不固定查询),经调研ClickHouse时序优化后比较满足需求,并且ClickHouse在数据量大时最好采用DNS轮询本地表写,分布式表读的工作方式,所以需要写脚本将hive中数据导入ClickHouse,加入到原来的数仓脚本。其实可以采取kafka+spark/streaming方式批量插入clickhouse提供准实时计算,后续看需求吧开始测试:运行环境首先,假设已经安装好seatunnel1.5.1(wate原创 2021-11-29 14:06:30 · 3846 阅读 · 9 评论 -
Sqoop导出hive数据到mysql出现错误的解决方案
问题描述今天在azkaban上查看定时任务调度时,发现一直运行的一个project竟然神奇的失败了,赶紧去查看,还好,只是最后一步ads_to_mysql出错,不会导致数据丢失,但是,后端报表无法显示正常数据了。一、尝试手动运行还是报错,跟自动运行没啥区别,看来不是我忘了同步分发执行脚本。二、查看报错Error: java.io.IOException: Can’t export data, please check failed map task logs at org.apache.sqoo原创 2021-11-24 17:29:39 · 3040 阅读 · 1 评论 -
Presto:Unable to create input format com.hadoop.mapred.DeprecatedLzoTextInputFormat错误解析
我的hive中的ods层表是这样存储的:drop table if exists ods_ipqc_online_tmp;create external table ods_ipqc_online_tmp( `MACH_ID` string COMMENT '机台id', `MACH_IP` decimal(16, 2) COMMENT '机台ip', `IPQC_ONLINEID` string COMMENT 'IPQC在线ID', `CRE原创 2021-06-05 14:18:19 · 2842 阅读 · 2 评论 -
Azkaban上传文件报错:Installation Failed. java.lang.String cannot be cast to java.util.Map
查看logs/azkaban-webserver.log发现:2021/01/19 10:13:31.288 +0800 INFO [ProjectManagerServlet] [Azkaban] Upload: project first version is 0, reference is 338007758\可以确定是.project 文件的问题,读成了version0,所以修改.project 文件:azkaban-flow-version: 2.0注意2.0与:之间要两个空格.原创 2021-01-19 11:14:47 · 1217 阅读 · 0 评论