- 博客(2)
- 收藏
- 关注
原创 SparkSQL问题汇总
实验使用环境为spark-3.0.0-preview2,教程观看的版本为spark1.6,spark2.0开始对sql进行改进,用sparksession实现hivecontext和sqlcontext统一,合并dataframe和datasets等,按照老的教程会引起问题。一. SQLContext报红,找不到依赖包。解决办法:在pom中添加依赖:<!--导入spark sql依赖--><dependency> <groupId>org.apache.sp
2020-11-13 14:27:01
613
原创 StringType报错,提示不是DataType类型
使用scala语言将RDD转化为sparkSQL时,构造StructType时StringType报错val schema = StructType( //构建函数,给每列数据一个统一的列名 Seq( StructField("phoneNum",IntegerType,true), StructField("time",IntegerType,true), StructField("id",StringType
2020-07-13 17:04:40
1156
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人