spark-sql建表语句限制_spark-sql 创建表 插入数据

spark-sql是spark的一个核心组件,可以实现简单的关系型 数据库 操作。

一,启动spark-sql

cd /bigdata/spark/bin

./spark-sql

如果进入spark-sql报以下错误:

Caused by: ERROR XSDB6: Another instance of Derby may have already booted the database /home/bigdata/spark/bin/metastore_db.

解决办法:

[root@bigserver1 bin]#  ps aux |grep java |grep -i sql

root 24797 2.1 16.8 3286436 559340 pts/2 Sl+ 13:13 1:23 /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.191.b12-1.el7_6.x86_64/bin/java -cp /bigdata/spark/conf/:/bigdata/spark/jars/*:/bigdata/hadoop/etc/hadoop/ -Xmx512m org.apache.spark.deploy.SparkSubmit --class org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver spark-internal

[root@bigserver1 bin]# kill

24797

在启动就好

二,创建表

1,以文本方式存储

create external table mytest1(id bigint, name string)

row format delimited fields terminated by ','

location 'hdfs://bigserver1:9000/test/spark/tank3';

这种方式创建的表,是以文本的形式存储的

2,以parquet存储

CREATE TABLE mytest3 (id bigint, name string)

USING HIVE OPTIONS(fileFormat 'PARQUET')

location 'hdfs://bigserver1:9000/test/spark/tank4';

这种创建表的方式,指定了文件存储方式,在用scala读取时会方便一些。

在这里要注意一点,如果没有指定location的话,默认会装到

43cfc673f91e08f2494660828f00d9f4.png

spark-sql 创建表

hive_serde_tab2,hive_serde_tab1表名

三,添加数据

INSERT INTO mytest3 VALUES (1,"zhang"), (2,"tank")

对于数据的编辑和删除,纯spark-sql现在还不支持,后面会尝试着结合,hive和hbase,来进行。希望达到的目的就是,能实现简单的增,删,改,查

四,单表查询数据,根关系型的差不多

五,用scala去读取上面创建的二个表

1,读取文本表

scala> var test = spark.read.format("text").option("header", true).option("delimiter", ",").load("hdfs://bigserver1:9000/test/spark/tank3");

test: org.apache.spark.sql.DataFrame = [value: string]

scala> test.withColumn("_tmp", split($"value", ",")).select(

| $"_tmp".getItem(0).as("id"),

| $"_tmp".getItem(1).as("name")

| ).drop("_tmp").show();

+---+-----+

| id| name|

+---+-----+

| 2|zhang|

| 3| ying|

| 1| tank|

+---+-----+

2,读取parquet表

scala> var test = spark.read.load("hdfs://bigserver1:9000/test/spark/tank4");

test: org.apache.spark.sql.DataFrame = [id: bigint, name: string]

scala> test.show();

+---+-----+

| id| name|

+---+-----+

| 1|zhang|

| 2| tank|

+---+-----+

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值