qq_58551342的博客

如果不能平均分配，则较小桶号的桶分配额外的行，并且各个桶中能放的数据条数最多相差1。聚合函数对一组值执行计算并返回单一的值，如sum()，count()，max()，min()， avg()等。到指定的数量n的桶中,将桶号分配给每一行，排序对应的数字为桶号，序号从1到n。，表示跳过开头的n行，返回接下来的m条数据。想知道各个地区的前几名、各个班的前几名。表中第二高的薪水。如果不存在第二高的薪水，查询应该返回。第三题提供的思路，但是无法实现重复的最大值。如果有两个人都排在第3名，则没有第4名。

leetcode数据库刷题记录

Scala基础知识点

Apache Spark从底层到楼顶，从入门到入土

SparkSQL 的前身是 Shark，给熟悉 RDBMS 但又不理解 MapReduce 的技术人员提供快 速上手的工具。Hive 是早期唯一运行在 Hadoop 上的 SQL-on-Hadoop 工具。但是 MapReduce 计算过程 中大量的中间磁盘落地过程消耗了大量的 I/O，降低的运行效率，为了提高 SQL-on-Hadoop 的效率，大量的 SQL-on-Hadoop 工具开始产生，其中表现较为突出的是：Drill Impala Shark。

Spark Streaming 用于流式数据的处理。Spark Streaming 支持的数据输入源很多，例如：Kafka、 Flume、Twitter、ZeroMQ 和简单的 TCP 套接字等等。数据输入后可以用 Spark 的高度抽象原语 如：map、reduce、join、window 等进行运算。而结果也能保存在很多地方，如 HDFS，数据库等。

【代码】Stream流综合案例。

Spark驱动器节点，用于执行Spark任务中的main方法，负责实际代码的执行工作。Driver在Spark作业执行时主要负责：1)将用户程序转化为作业（Job）；2)在Executor之间调度任务（Task）；3)跟踪Executor的执行情况；4)通过UI展示查询运行情况；

Hadoop和Hive，HQL学习笔记

这时jps会出现两个新进程RunJar。1、启动Hadoop集群。3、启动beeline。

Linux安装MySQL详细步骤

系统变量 是MySQL服务器提供，不是用户定义的，属于服务器层面。分为全局变量（GLOBAL）、会话变量（SESSION）。用户定义变量 是用户根据需要自己定义的变量，用户变量不用提前声明，在用的时候直接用 "@变量 名" 使用就可以。其作用域为当前连接。SELECT 字段名 INTO @var_name FROM 表名;用户定义的变量无需对其进行声明或初始化，只不过获取到的值为NULL。-- 赋值set @mygender := '男',@myhobby := 'java';

查询所有数据库查询当前数据库创建数据库create database [ if not exists ] 数据库名 [ default charset 字符集 ] [ collate 排序规则 ];在同一个数据库服务器中，不能创建两个名称相同的数据库，否则将会报错。可以通过if not exists 参数来解决这个问题，数据库不存在, 则创建该数据库，如果存在，则不 创建。删除数据库drop database [ if exists ] 数据库名;切换数据use 数据库名;