spark sql
文章平均质量分 71
SPARK SQL 学习,记录一个小白使用SPARK SQL过程
xiaozhegaa
一个乐于分享的老男人
展开
-
SparkSQL专题4 ~ JSON相关 或 数据展开和收拢
准备CREATE TABLE db.test ( `m_id` STRING COMMENT '商品id', `s_id` STRING COMMENT '商品挂id', `s_name` STRING COMMENT '名称', `s_number` BIGINT COMMENT '编号' )insert into db.test (m_id, s_id, s_name, s_number) values ('1', '1002', '尺码1002', 1001), ('1',原创 2021-08-03 18:52:22 · 766 阅读 · 0 评论 -
SparkSQL专题2 ~ DDL
基础数据结构对于 Hive 的 String 类型相当于数据库的 varchar 类型,该类型是一个可变的字符串,不过它不能声明其中最多能存储多少个字符,理论上它可以存储 2GB 的字符数。原创 2021-08-03 15:14:20 · 507 阅读 · 0 评论 -
SparkSQL专题3 ~ json函数
前言记录本人使用SparkSql历程。以前主要是用MYSQL居多,且底层基本依赖于Mybatis,SQL编写能力较弱\color{red} 记录本人使用SparkSql历程。以前主要是用MYSQL居多,且底层基本依赖于Mybatis,SQL编写能力较弱记录本人使用SparkSql历程。以前主要是用MYSQL居多,且底层基本依赖于Mybatis,SQL编写能力较弱最近开始使用SparkSQL进行各种各样SQL的需求开发\color{red} 最近开始使用Spark SQL进行各种各样SQL的需求开发最近开原创 2021-08-03 11:53:57 · 1265 阅读 · 0 评论 -
SparkSQL专题1 ~ 造数
普通一行数据select'20210730' as date_time, 10086 as merchandise_no, 1008611 as mer_item_no, 'barcode10086' as barcode, 'osn10086' as osn, 'goods_no10086' as goods_no, 'first_dep_of_owner10086' as first_dep_of_owner, 1 as first_dep_of_owner_id, 'sec_dep_of_ow原创 2021-08-02 09:56:04 · 492 阅读 · 0 评论