AyubLIbra的博客

1 、 pySpark构建临时表报错TypeError: StructType can not accept object ‘hasMore’ in type <class ‘str’>2 、解决办法是: 添加[] 构建成listres = json.loads(result)df = self.sc.createDataFrame([res], my_schema)

背景是将hive app应用层的数据搬运至mysql中。1、 对于提交了sqoop 命令行 \后面不能有空格2、导入错误时。需要去查看yarn日志 historyJob日志1、http://10.128.100.87:19888/jobhistory2、根据jobID查看情况。3、查看失败的job 。4、了解node和logs的信息。主要是点击logs查看错误信息5、Click here for the full log. 点击here 。详细查看内容6、找到 Caused by

我的环境为 CDH 6.2 sqoop1.4.7 出现这个错误。我这里不考虑没有创建JOB的情况。因为，我已经创建几次job。同时我执行运行job时，有时可以运行，有时不可以运行。20/04/27 10:22:41 ERROR metastore.GenericJobStorage: Cannot restore job: acc_account_ply_base_job20/04/27 10...

CDH中hue执行shell脚本调用sqoop脚本报错1、Could not load db driver class: com.oracle.jdbc.Driver解决：oracle驱动不存在。你可以把驱动包拷贝到/opt/cloudera/parcels/CDH/lib/sqoop/lib 。看到这个错误的时候，需要提示的一点，服务器上执行sqoop脚本。不会报错，但是在CDH中就会报错...

Spark开发环境异常处理（Connection timed out）2020-04-02 22:48:47,973 [Executor task launch worker-0] WARN org.apache.hadoop.hdfs.DFSClient [DFSInputStream.java : 571] - Failed to connect to /172.18.0.5:50010 ...