- 博客(8)
- 收藏
- 关注
RSS订阅原创 Spark 作业的 commit 提交机制 - Spark并发更新ORC表失败的问题原因与解决方法
该问题的原因是spark不支持对同一张ORC/PARQUET非分区表或ORC/PARQUET分区表的同一个分区的并发更新，甚至也不支持以静态分区模式并发更新 ORC/PARQUET分区表的不同分区，其底层细节跟 spark作业两阶段提交机制的实现算法有关，详情见后文。
2024-07-16 15:19:44
873
原创 Hive修改外部表分区名并且重命HDFS目录名字查询不到数据
因此为了让我们修改后的分区可以正确的加载数据，我们去删除掉原来的分区dt=‘2020-03-31，新建一个dt=‘2020-03-31，并且上一步的时候，我们已经将HDFS目录的dt=‘2020-04-01’修改为dt=‘2020-03-31’。但是这个软连接hive的dt=‘2020-03-31’与HDFS的dt=‘2020-04-01’已经失效，找不到的dt=‘2020-04-01’。Hive创建的一张外部表 table_1, 有一个按照天增量存储的分区，dt=‘2020-04-01’
2024-03-07 12:57:36
448
原创 hive parquet 修改字段名 列原数据变NULL
alter table parquet_tb change column column_name_old column_name_new string comment '测试字段' cascade;1.在Hive的当前会话设置parquet.column.index.access=true属性（临时）Parquet格式的表，在重命名表的列名后，查询重名的列数据时显示当前列所有值为NULL。hive默认的读取parquet文件是按照名称读取的（orc默认是按序列号读取的），
2024-03-07 12:12:31
618
原创 spark参数调优
起初直接insert分区表，当3部分一起跑，会报重命名失败错误。改成insert结果集，又报 ERROR TransportResponseHandler: Still have 1 requests outstanding when connection from /10.26.126.187:48416 is closed 错误。当Hive数据量很大，需要大量groupby时，资源会不够用。单跑整体需要很长时间，所以把能拆开的分部分来跑。查资料发现是系统资源不够用。
2024-03-04 12:14:00
423
1
原创 数据仓库、数据集市、数据湖、数据中台这些概念
原来各个数据孤岛中的数据，可能会在物理位置（比如沃尔玛在各个州可能都有自己的数据中心）、存储格式（比如月份是数值类型，但但天气可能是字符类型）、商业平台（不同数据库可能用的是Oracle数据库，有的是微软SQL Server数据库）、编写的语言（Java或者Scale等）等等各个方面完全不同，数据仓库要做的工作就是将他们按照所需要的格式提取出来，再进行必要的转换（统一数据格式）、清洗（去掉无效或者不需要的数据）等，最后装载进数据仓库。数据中台建立后，会形成数据API，为企业和客户提供高效各种数据服务。
2023-12-07 14:12:10
2575
原创 详解数据仓库和数据集市：ODS、DW、DWD、DWM、DWS、ADS
还是不太明白 ods 和 dwd 层的区别，有了 ods 层后感觉 dwd 没有什么用了。
2023-12-07 10:59:29
7992
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人