- 博客(3)
- 收藏
- 关注
RSS订阅原创 datax写入HDFS hive表报 您填写的参数值不合法错误
在这里插入图片描述问题原因及解决方法：fieldDelimiter设置的\001，将其调整为\u0001即可
2022-03-25 10:17:04
2580
1
原创 pycharm debug报错“UnicodeDecodeError: ‘utf-8‘ codec can‘t decode byte“的解决办法
最近遇到一个奇怪的问题，我昨天还可以正常执行的程序，今天debug却报了莫名其名的错，其中有个错就是这个我搜了下杂七杂八说啥的都有，不过关键这个错是我mian方法才开始就出来的，像加errors='ignore’这些根本找不到地方加，最后找到一个方法，就是删除.idea文件夹中的文件，这个文件夹的主要作用在于存放项目的控制信息，包括版本信息，历史记录等等，所以删除它是不会影响代码的正常使用的。但是如果删除就不能使用pycharm进行回溯和复原了。为了保险起见我是先做了备份，移除过后再进行debug，程序可
2022-02-11 15:08:25
2420
1
转载 数据仓库建模
mark一下数仓的知识点–转自尚硅谷数据仓库建模（绝对重点）ODS层1）HDFS用户行为数据2）HDFS业务数据3）针对HDFS上的用户行为数据和业务数据，我们如何规划处理？（1）保持数据原貌不做任何修改，起到备份数据的作用。（2）数据采用压缩，减少磁盘存储空间（例如：原始数据100G，可以压缩到10G左右）（3）创建分区表，防止后续的全表扫描DWD层DWD层需构建维度模型，一般采用星型模型，呈现的状态一般为星座模型。维度建模一般按照以下四个步骤：选择业务过程→声明粒度→确认维度→确
2021-09-01 21:16:07
190
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人