java如何导sql包_JavaSQLContext sqlCtx = new JavaSQLContext(ctx); 这个 类在哪个包里面导进去,我在编写 spark sql...

JavaSQLContext sqlCtx = new JavaSQLContext(ctx); 这个 类在哪个包里面导进去,我在编写 spark sql

package sparkSQL;

import java.util.List;

import org.apache.spark.SparkConf;

import org.apache.spark.api.java.JavaRDD;

import org.apache.spark.api.java.JavaSparkContext;

import org.apache.spark.examples.sql.JavaSparkSQL.Person;

public class sparkTest {

public static void main(String[] args) {

SparkConf sparkConf = new SparkConf().setAppName("JavaSparkSQL").setMaster("local[2]");

JavaSparkContext ctx = new JavaSparkContext(sparkConf);

JavaSQLContext sqlCtx = new JavaSQLContext(ctx);

JavaRDD people = ctx.textFile("/home/yurnom/people.txt") //文档内容见下文

.map(line -> {

String[] parts = line.split(",");

return new Person(parts[0], Integer.parseInt(parts[1].trim()));//创建一个bean

});

JavaSchemaRDD schemaPeople = sqlCtx.applySchema(people, Person.class);

schemaPeople.registerAsTable("people");//注册为一张table

JavaSchemaRDD teenagers = sqlCtx.sql(//执行sql语句,属性名同bean的属性名

"SELECT name FROM people WHERE age >= 13 AND age <= 19");

List teenagerNames = teenagers

.map(row -> "Name: " + row.getString(0)).collect();

for(String s : teenagerNames) {

System.out.println(s);

}

}

}

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值