l1336944916的博客

原创 Django运行项目时提示报错：django.core.exceptions.ImproperlyConfigured: Requested setting INSTALLED_APPS, but s

解决：添加环境变量DJANGO_SETTINGS_MODULE=netshop.settings。原因：pycharm没有设置项目的环境变量。

原创 dataX replace模式增量写入数据到mysql

MYsql要有unique key，datax根据unique key字段来更新数据。

原创 dataX，hive同步到mysql，字段顺序不一致

调整hive表的index编号，和mysql字段顺序保持一致。

原创 使用雪花算法UDF函数自动生成唯一id，有重复

原因：使用udf函数时，有join导致id不唯一。解决：使用该UDF函数时，禁止使用join。

原创 dataX同步到mysql少数据

原因：1、使用sqoop抽数据到hive，数据中存在分隔符导致错位；（例如：PDD: 能良家居生活专营店）2、ods表使用dataX导数据到mysql，错位数据会导不进去。解决：sqoop抽数据的时候处理数据，将tab字符处理掉。

原创 HDFS：text文件使用dataX同步数据到mysql报错OOM

解决：新建orc表，把ods表数据查询插入到新表，HDFS上面会按258M分成多个文件块儿，然后使用DATAX同步到mysql。原因：ods表是使用text文件格式，未压缩，HDFS文件大小5G；使用DATAX同步时OOM；

原创 python和pyspark数据处理的区别

1、python的dataframe，是单机数据集，只适用于处理少数据量；2、pyspark的RDD，是分布式弹性数据集，适用于处理大数据量。

原创 python发送ecxel文件到企微群

指定消息类型=file。1、上传到企微，获取media_id；

原创 pthon map,apply和applymap的区别

1、map是serise对象的方法；apply是dataframe和serise对象的方法；applymap是dataframe对象的方法；2、map应用于对象中的每个元素；apply应用于对象中行或列中的元素；applymap应用于对象中的每个元素。

原创 python dataframe合并报错

原创 python:‘SeriesGroupBy‘ object has no attribute ‘to_excel‘

把data1转出dataframe，pd.DataFrame(group)data1不是dataframe。

原创 hive on spark报错：Failed to create Spark client for Spark session

解决办法：增加重试次数。

原创 hive创建udf函数

hue执行ADD JAR /tmp/zgj/fenxiao1.jar;

原创 sqoop采集数据到hive

@sqoop采集数据到hive1、oracle抽取数据到hive本身是map,可指定map的个数；可增量或全量抽；通过shell脚本可批量抽取应用场景：将表从关系型数据库抽取到hive或hdfs分隔符问题导致数据量变多，参考https://blog.csdn.net/qq_38250124/article/details/84331037null值问题：hive官方文档关于null值的描...