TypeError:'NoneType' object is unsubscriptable

最新推荐文章于 2024-08-23 08:00:00 发布

ZhanYunQI

最新推荐文章于 2024-08-23 08:00:00 发布

阅读量5k

点赞数

分类专栏： spark python

本文链接：https://blog.csdn.net/ZhanYunQI/article/details/53443820

版权

python 同时被 2 个专栏收录

18 篇文章 0 订阅

订阅专栏

spark

6 篇文章 0 订阅

订阅专栏

python_spark开发的时候，报错TypeError:'NoneType' object is unsubscriptable

打印RDD首条数据没有问题，但是整体插入到HIVE表的时候就报错了，分析发现当结构organization不存在的时候，item[1][1][0],item[1][1][1],item[1][1][2]) 均将无法访问，在访问前对RDD做一个过滤即可解决问题

employee=employee.map(lambda item:(item[1][1],(item[0],item[1][0],item[1][2],item[1][3],item[1][4],item[1][5],item[1][6],item[1][7],item[1][8],item[1][9],item[1][10],item[1][11],item[1][12])))
employee=employee.leftOuterJoin(organization)
employee=employee.filter(lambda item:item[1][1]<>None)

employee=employee.map(lambda item:(item[0],item[1][0][0],item[1][0][1],item[1][0][2],item[1][0][3],item[1][0][4],item[1][0][5],item[1][0][6],item[1][0][7],item[1][0][8],item[1][0][9],item[1][0][10],item[1][0][11],item[1][0][12],item[1][1][0],item[1][1][1],item[1][1][2]))