pyspark 经常遇到的问题

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/Tifficial/article/details/54810073

problem One

这个问题不是很明白,但是当我把rdd 的数据量变小,从一个rdd容纳80 万条数据变为 一个rdd 容        纳 10 万条数据时,情况好了很多,有时候出现这个问题是在程序处理53万条数据的时候出现,估      计可能是我的电脑配置跟不上,处理不了这么多数据了……

problem Two

正确代码改为:list(jieba.cut(x[0])) , 因为jieba.cut(x)的结果是一个迭代器,我要把jieba.cut(x),也就是我们的分词结果存在一个rdd 里面,需要用list(jieba.cut(x)) 强制类型装换成list, 而传入jieba.cut(x)的参数应该是字符串,在我的程序中,x 是list型的,list[0] 取出我想要做分词的字符串。

展开阅读全文

没有更多推荐了,返回首页