spark 报错ypeError: expected string or Unicode object, NoneType found
刚开始时候写法:
hive_data = hc.sql(sql).groupBy("sip", "agent").count().map(lambda x:[x.sip,[[x.agent,x.count],]])
最后报了上面的错
最终发现问题在count,x.count
count是一个spark的内部函数、
在map的时候会引起歧义
这里我们修改一个名字:
map(
lambda x:[x.sip,[[x.agent,x.weight],]])
就好了