解决方案转载专用
实际开发中, 遇到的问题, 经过查询得到的解决方案. 包括工具的使用以及代码的bug等.
MichaelZhu
这个作者很懒,什么都没留下…
展开
-
pyspark AnalysisException: u'Text data source supports only a single column, and you have 5 columns
原文链接:https://my.oschina.net/u/2000675/blog/2967538pyspark dataframe 多列数据当我们想存储为text格式的时候:df.coalesce(1).write.format("text").option("header", "false").mode("append").save("<path>")我们发现报错:...转载 2019-12-12 14:08:56 · 2439 阅读 · 0 评论 -
Spark SQL overwrite问题
背景:对Hive数据去重更新到原表, beeline中可以直接overwrite.但是spark.sql中报错: Cannot overwrite a path that is also being read from.;解决方案:经过研究, 发现spark.sql 貌似不能直接overwrite, 需要先到临时表再导回原表, 代码如下.Ps, 一样的代码, 之前貌似可以...转载 2019-12-02 11:44:15 · 3469 阅读 · 0 评论 -
python插入Null值数据到Postgresql
数据库中最好插入Null值.在python中, 暂时没找到通过sql语句的方式插入Null值.推荐使用轮子的方法.def insert_sample_data(self, values): # added self since you are referencing it below with self.con.cursor() as cur: sql...原创 2019-11-25 17:42:55 · 2649 阅读 · 0 评论 -
pyspark连接Postgresql出错. java.lang.ClassNotFoundException: org.postgresql.Driver
pyspark连接Postgresql的方法方法一: 在spark2/jars路径中放的Postgresql jar 包不起作用.(报错)方法二: 在spark.conf.set中设置 spark.conf.set('spark.jars','/usr/hdp/3.0.1.0-187/spark2/jars/postgresql-42.2.5.jar') 不起作用. (报错)解决方案...原创 2019-11-11 16:15:06 · 6794 阅读 · 2 评论 -
python读写文件的三种方式: open()与with open()
1. open()这样直接打开文件,如果出现异常(如,读取文件过程中文件不存在),则直接出现错误,close命令无法执行,文件无法关闭。file = open("text.txt","r")for line in file.readlines(): print linefile.close()2. with open() as file:好处:用with语句的好处就是到达...转载 2019-11-04 15:30:41 · 4336 阅读 · 0 评论 -
eclipse 中文注释错位、缩进、被放大BUG解决
使用eclipse开发时, 中文注释出现问题.使用以下方案解决:转载 2019-09-14 16:01:16 · 674 阅读 · 1 评论 -
pyspark异常处理之:java.lang.OutOfMemoryError: Java heap space
问题: java.lang.OutOfMemoryError: Java heap space报错提示:Py4JJavaError: An error occurred while calling o119.collectToPython.: org.apache.spark.SparkException: Job aborted due to stage failure: Task 3...原创 2019-10-07 00:40:39 · 6676 阅读 · 0 评论