这篇博客介绍了如何在Spark中使用SQLContext创建DataFrames，并通过案例展示了DataFrame的常用操作，包括读取HDFS上的数据，创建case class，转换为DataFrame，以及注册为临时表进行SQL查询。此外，还探讨了如何在自定义程序中编写Spark SQL查询并提交Spark任务。
1. 1 创建DataFrames
在Spark SQL中SQLContext是创建DataFrames和执行SQL的入口，在spark-1.5.2中已经内置了一个sqlContext
1.在本地创建一个文件，有三列，分别是id、name、age，用空格分隔，然后上传到hdfs上
hdfs dfs -put person.txt /
文件内容如下：
1,boduo,19
2,xiaoze,20
3,longze,21
2.启动spark-shell
[bigdata@bigdata01 ~]$ /usr/local/spark-1.6.1-bin-hadoop2.6/sbin/start-all.sh
[bigdata@bigdata01 ~]$ /usr/local/spark-1.6.1-bin-hadoop2.6/bin/spark-shell --master spark://bigdata01:7077 --executor-memory 1g --total-executor-cores 2
在spark shell执行下面命令，读取数据，将每一行的数据使用列分隔符分割
val lineRDD =sc.textFile("hdfs://bigdata01:9000/person.txt").map(_.split(","))
3.定义case class（相当于表的schema）
case classPerson(id:Int, name
最低0.47元/天 解锁文章
6659
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
