大数据工程师之SQL&HSQL&SPARK算子练习

最新推荐文章于 2023-11-08 08:29:58 发布
最新推荐文章于 2023-11-08 08:29:58 发布
阅读量327 收藏 1
点赞数
分类专栏： practise 文章标签： sql hive spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wsjslient/article/details/115333925
版权

目录

写在前面

       作为一名合格的大数据开发工程师，SQL&HSQL&SPARK算子,对于我们来说如同吃饭喝水的东西，想到即可实现、信手拈来；这里提供一套习题，可以用这三种语言同时练习一遍，如果这三种都可以很顺利的完成，那么恭喜你，在这方面你已经勉强合格了！(如果觉得写的还不够过瘾，那就再用scala搓一遍)

       表不多，数据也不多，主要是给大家一个达到训练的目的！

SQL部分（MySQL）

  • 下图为表关系
    在这里插入图片描述
建表sql+答案提取： 百度云链接
提取码：7xnq

HIVE部分（MySQL）

这里提供的是建表语句，还有通过sqoop从mysql将数据导入至hive对应的表中；

建表sql+sqoop导数据脚本+答案提取： 百度云链接
提取码：plao

SPARK部分(待续)

...
PS：如果有写错或者写的不好的地方，欢迎各位大佬在评论区留下宝贵的意见或者建议，敬上！如果这篇博客对您有帮助，希望您可以顺手帮我点个赞！不胜感谢！

原创作者：wsjslient

作者主页：https://blog.csdn.net/wsjslient

NightFall丶
关注
专栏目录
Hive On Spark & SparkSQL On Hive 笔记
大数据研究小白
08-24 679
Hive On Spark & SparkSQL On Hive
大数据时代快速SQL引擎-Impala
热门推荐
Hello World
09-04 3万+
背景随着大数据时代的到来，Hadoop在过去几年以接近统治性的方式包揽的ETL和数据分析查询的工作，大家也无意间的想往大数据方向靠拢，即使每天数据也就几十、几百M也要放到Hadoop上作分析，只会适得其反，但是当面对真正的Big Data的时候，Hadoop就会暴露出它对于数据分析查询支持的弱点。甚至出现《MapReduce: 一个巨大的倒退》此类极端的吐槽，这也怪不得Hadoop，毕竟它的设计就是
hsql例题
sghuu的博客
11-14 306
关于字符串转换成日期格式的函数： select from_unixtime(unix_timestamp('2015/01/01' ,'yyyy/MM/dd'), 'yyyy-MM-dd') ; 2019-01-01 建表语句： drop table action if exists ; create table action( id string , vd string, vc int...
牛客题霸-SQL篇——10~20题
dearQiHao的博客
06-08 693
目录+ SQ11:获取所有员工当前的manager描述实例代码: + SQ11:获取所有员工当前的manager 描述 有一个员工表dept_emp简况如下: 第一行表示为员工编号为10001的部门是d001部门。 有一个部门经理表dept_manager简况如下: 第一行表示为d001部门的经理是编号为10002的员工。 获取所有的员工和员工对应的经理，如果员工本身是经理的话则不显示，以上例子如下: 实例代码: select d.emp_no,m.emp_no manager from de
大数据基础：HQL 入门必练50题_1
程序员小菜鸡Cjp的博客
06-03 426
Hive sql入门必练50题
spark sql 执行hql
sunlang的博客
05-27 728
在shell脚本中，hql使用 $hive -e "$sql" 这里将hive的mr替换为spark 前提条件，配置好spark on hive 将$hive 替换为$spark-sql就可以了 如果遇到小文件过多的问题，在sql中设置set spark.sql.shuffle.partitions=100; ...
SparkSQL 入门简介
猫君之上的博客
04-29 461
1.SparkSQL概述 SparkSQL的前身是Shark，它的底层依赖于Hive，因此其发展受制于Hive的发展，后来项目组将Shark废弃，保留了其中非常优秀的特点：比如内存存储技术，动态字节码技术等，重新组织了一个项目，这个项目就是SparkSQL，通过Spark去操作Hive，即Spark-on-Hive,同时在hive里面也推出了一个子模块，是hive的计算引擎基于spark，即hiv...
HSQL like和rlike区别【HIVE SQL】
nnnnn68的博客
04-22 3507
hive中like、rlike的使用方法
极光笔记丨Spark SQL 在极光的建设实践
weixin_57579230的博客
11-09 1334
极光高级工程师——蔡祖光 前言 Spark在2018开始在极光大数据平台部署使用,历经多个版本的迭代,逐步成为离线计算的核心引擎。当前在极光大数据平台每天运行的Spark任务有20000+,执行的Spark SQL平均每天42000条,本文主要介绍极光数据平台在使用Spark SQL的过程中总结的部分实践经验,包括以下方面内容: Spark Extension的应用实践 Spark Bucket Table的改造优化 从Hive迁移到Spark SQL的实践方案 一、Spark Ext..
spark三种连接join
weixin_30474613的博客
11-03 221
本文主要介绍spark join相关操作。 讲述spark连接相关的三个方法join，left-outer-join，right-outer-join，在这之前，我们用hiveSQL先跑出了结果以方便进行对比。 我们以实例来进行说明。我的实现步骤记录如下。 1、数据准备 2、HSQL描述 3、Spark描述 1、数据准备 我们准备两张Hive表，分别是orders（订单表...
Spark SQL 算子详解
zholeiv5
11-05 1089
1、.show() show(numRows: Int) -- 显示numRows条 show(truncate: Boolean) -- 是否最多只显示20个字符，默认为true show(numRows: Int, truncate: Boolean) --综合前面的显示记录条数，以及对过长字符串的显示格式 2、first, head, take, takeAsList：获取若干行记录 这里列出的四个方法比较类似，其中 　　（1）first获取第一行记录 　　（2）head获取第
6-大数据-hql执行流程
yaoyelinger0912的博客
07-13 345
通过命令行或者客户端提交，经过compiler编译器，运用MetaStore中的元数据进行类型检测和语法分析，生成一个逻辑方案，通过优化处理，产生一个MapReduce任务 所有的命令和查询都会进入到driver(驱动模块)，通过该模块 对输入进行解析编译，对需求的计算进行优化，然后按照指定 的步骤执行(通常是启动多个MapReduce任务(job)来执行)。 当需要启动job时，hive本身不会...
什么是AI算子开发
最新发布
AI与算法都要通俗易懂
11-08 1884
这是因为x86的架构和指令集并没有针对卷积这一算法做特殊的指令设计，因此我们要想实现这个功能，基本上也只能根据卷积的运算逻辑，来一层层的循环遍历完成。因此，在AI芯片上，一个卷积的运算实现，可能就用一条指令，就可以完成很多个数据的乘累加操作，不需要再像上面的代码一样，写那么多循环来遍历卷积核。虽然这几年市场冷静了一些，但不可否认的是，搞算法依然是香饽饽，而与算法相关的岗位中，有一个独特的存在，那就是AI 算子开发工程师。其实算子开发岗位，与算法岗位有相似之处，但又不是纯算法，还需要和硬件、芯片打交道。
MySql经典50道SQL练习题
weixin_55076626的博客
10-05 2124
SId 学生编号,Sname 学生姓名,Sage 出生年月,Ssex 学生性别CId 课程编号,Cname 课程名称,TId 教师编号TId 教师编号,Tname 教师姓名SId 学生编号,CId 课程编号,score 分数。
对比目前流行的几个大数据查询引擎：Hive、SparkSQL、Presto、Impala、HAWQ、 ClickHouse、Greenplum。
dragon_blog的博客
10-02 1845
大数据仓库
**HQL经典练习50题之(一)**
FzzF-李玉龙的博客
12-27 3799
学生表 create table if not exists t_stu_info( stu_id int, stu_name string, birthday string, gender string ) row format delimited fields terminated by ’ '; load data local inpath ‘/home/testdata/stu_info....
Hive经典HQL语句练习（一）
Rio.的博客
05-08 2865
搜集了50个经典SQL语句，以便加强对Hive的理解，包含了基本操作，UDF函数，以及很多常用统计函数，与mySQL写法有一定差别，用来做HQL练习 1.数据准备 home目录下新建data文件夹存放准备数据 mkdir data 创建student数据文本 vi student.txt 添加如下数据： 01 赵雷 1990-01-01 男 02 钱电 1990-12-21 男 03 孙风...
HQL语句练习题（hive练习题）
ll谢安生的博客
12-27 6278
说明：以下50题为hive的写法，与mysql写法有一定差别，可供练习hive语句使用。 数据 student 01 赵雷 1990-01-01 男 02 钱电 1990-12-21 男 03 孙风 1990-05-20 男 04 李云 1990-08-06 男 05 周梅 1991-12-01 女 06 吴兰 1992-03-01 女 07 郑竹 1989-07-01 女 08 王菊 1990...
大数据生态：Spark崛起，Hadoop与Storm组件衰退
技术趋势显示，Spark可能逐步取代Hadoop的部分组件，如Spark SQL可能替代HSQL，而Spark也可能在某些场景下替换MapReduce。 此外，文中还提及了几个大数据处理工具，如Sqoop用于将关系型数据库的数据导入到Hadoop，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值