笔记
ShanaHana
这个作者很懒,什么都没留下…
展开
-
数据分析使用工具时候遇到的坑,持续更新(hive pyspark pandas)
1.pyspark生成parquet 注意!!如果你的几个需求之间,生成表的schema不一致,不要用同一个名称生成parquet,会导致失败,并且没有报错信息 即是:parquet不要重名!除非schema一致! 2.使用pandas生成csv 数据量较大的时候,比较长的字符串(内容是数字)就会变成科学计数法 解决方法: 1做一个后缀加“”字符再生成csv 2不用pandas,直接使用pyspark的dataframe.write.csv(xxx.csv,header=True) ...原创 2021-07-06 12:27:33 · 185 阅读 · 0 评论 -
Numpy的array与list的复制
复习中记错了array的复制,以为也同list一样是用切片…… list的复制方法如下: a=[1,2,3] b=a[:] 而array的话,切片和赋值均指向自身: a=b[:] a=b #均指b 要使用的复制方法如下: array2=array1.copy() #对原始的array1的复制 array3=array1[1:3].copy() #对切片array1[1:3]的复制 ...原创 2020-04-06 17:58:31 · 231 阅读 · 0 评论 -
oracle删除同义词
之前做存储过程的时候,加了全局同义词,发版本的时候删除失败,痛不欲生 我的存储过程 create or replace abc is begin end; / create or replace public synonym abc for root.abc grant execute on abc to abcuser ﹉﹉﹉ 注意加上public drop procedure abc d...原创 2020-03-26 20:34:02 · 5285 阅读 · 0 评论