善皮之的博客

SparkR Collect 数据报错背景描述在编写sparkR 的时候使用 (在开启的arrow功能）collect(sql("select max(id) from xxxTable")) 程序会报如下错误:Error in readBin(con, raw(), as.integer(dataLen), endian = "big") :软件环境：spark包版本：3.0.2arrow版本 0.16.0原因这是早起sparkR的一个bug，在新版本的sparkR下，已经修复了这个

SparkR:Error in if(is.na(object)) {: 参数长度为零SparR:Error in if (is.na(object)) { : argument is of length zero开门见山:因为我在运行sparkR的时候发现程序报了如下错误：这个看起来是if语句中调用了is.na()方法，然后因为没有传入参数吧，接着程序报错。排除问题的过程获取程序当...

DataFrame描述：DataFrame能够被createDataFrame,read.json,table 这样的函数创建用法:dataFrame(sdf,isCached = FALSE)groupedData(sgd)参数：sdf: 一个对scala DataFrame的支持的java对象引用isCached: ...

对于这个错误，可能是编码不一致导致的。文件是从windows的平台弄到linux上，linux的rstudio的编码是utf-8，所以，这样的话。将文件的编码转成utf-8然后重新上传到linux的服务器上就没有报错了，重新转码的工具可以使用notepad++这个软件...