l1336944916的博客

原创 python和pyspark数据处理的区别

1、python的dataframe，是单机数据集，只适用于处理少数据量；2、pyspark的RDD，是分布式弹性数据集，适用于处理大数据量。

原创 python发送ecxel文件到企微群

指定消息类型=file。1、上传到企微，获取media_id；

原创 pthon map,apply和applymap的区别

1、map是serise对象的方法；apply是dataframe和serise对象的方法；applymap是dataframe对象的方法；2、map应用于对象中的每个元素；apply应用于对象中行或列中的元素；applymap应用于对象中的每个元素。

原创 python dataframe合并报错

原创 python:‘SeriesGroupBy‘ object has no attribute ‘to_excel‘

把data1转出dataframe，pd.DataFrame(group)data1不是dataframe。

原创 hive on spark报错：Failed to create Spark client for Spark session

解决办法：增加重试次数。

原创 hive创建udf函数

hue执行ADD JAR /tmp/zgj/fenxiao1.jar;

原创 sqoop采集数据到hive

@sqoop采集数据到hive1、oracle抽取数据到hive本身是map,可指定map的个数；可增量或全量抽；通过shell脚本可批量抽取应用场景：将表从关系型数据库抽取到hive或hdfs分隔符问题导致数据量变多，参考https://blog.csdn.net/qq_38250124/article/details/84331037null值问题：hive官方文档关于null值的描...