![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
pyspark
rookie_bigdata
菜鸟一枚
展开
-
pyspark 写入csv 文件报错 org.apache.hadoop.io.nativeio.NativeIO$Windows.createFile。。。
现象:pyspark 写入windows本地csv文件报错后报错org.apache.hadoop.io.nativeio.NativeIO$Windows.createFile。。。解决:删除hadoop-common-2.6.0/bin 里的hadoop.dll原创 2020-09-23 16:12:18 · 397 阅读 · 1 评论 -
pyspark 报错 TypeError: must be real number, not Column
现象:pyspark 需要添加一列 distance(距离),distance 需要基于四列的值(原经度,原纬度,现经度,现纬度)计算得来。def calculateS(lng1,lat1,lng2,lat2): lng1, lat1, lng2, lat2 = map(radians, [lng1, lat1, lng2, lat2]) dlon=lng2-lng1 dlat=lat2-lat1 a=sin(dlat/2)**2 + cos(lat1) * cos...原创 2020-07-31 14:13:32 · 998 阅读 · 0 评论