![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
DataFrame
文章平均质量分 66
ailyfm
这个作者很懒,什么都没留下…
展开
-
DataFrame中show数据时间超时以及GraphFrame无法创建问题
在Data Frame中,如果sql语句获取的数据有问题(比如原始数据表中没有day这个字段),val all_data = sql("select callingnum as src, callednum as dst from cdr where day='20171127'")在运行之后,进行all_data.show会导致任务划分成千个stage,花费还几十分钟都不见得原创 2018-03-13 11:21:44 · 713 阅读 · 0 评论 -
spark中DataFrame读取hive之UDF函数去掉空行
import org.apache.spark.sql.SparkSessionval spark = SparkSession.builder().master("spark://192.168.0.0:7077").enableHiveSupport().getOrCreate()val sc = spark.sparkContextval sqlContext = spark.sqlCon...原创 2018-03-23 17:53:36 · 1239 阅读 · 0 评论