- 博客(34)
- 收藏
- 关注
RSS订阅原创 Hive学习笔记（十一）—— Hive 实战之谷粒影音
文章目录10.1 需求描述10.2 项目10.2.1 数据结构10.2.2 ETL 原始数据10.3 准备工作10.3.1 创建表10.3.2 导入 ETL 后的数据10.3.3 向 ORC 表插入数据10.4 业务分析10.4.1 统计视频观看数 Top1010.4.2 统计视频类别热度 Top1010.4.3 统计出视频观看数最高的 20 个视频的所属类别以及类别包含Top20 视频的个数10.4.4 统计视频观看数 Top50 所关联视频的所属类别 Rank10.4.5 统计每个类别中的视频热度 To
2020-10-25 11:37:47
767
原创 Hive学习笔记（十）—— 企业级调优
文章目录9.1 Fetch 抓取9.2 本地模式9.3 表的优化9.3.1 小表、大表 Join9.3.2 大表 Join 大表9.3.3 MapJoin9.3.4 Group By9.3.5 Count(Distinct) 去重统计9.3.6 笛卡尔积9.3.7 行列过滤9.3.8 动态分区调整9.3.9 分桶9.3.10 分区9.4 MR 优化9.4.1 合理设置 Map 数9.4.2 小文件进行合并9.4.3 复杂文件增加 Map 数9.4.4 合理设置 Reduce 数 1．调整 reduce 个数
2020-10-24 19:00:06
251
原创 Hive学习笔记（九）—— 压缩和存储
文章目录8.1 Hadoop 源码编译支持 Snappy 压缩8.1.1 资源准备8.1.2 jar 包安装8.1.3 编译源码8.2 Hadoop 压缩配置8.2.1 MR 支持的压缩编码8.2.2 压缩参数配置8.3 开启 Map 输出阶段压缩8.4 开启 Reduce 输出阶段压缩8.5 文件存储格式8.5.1 列式存储和行式存储8.5.2 TextFile 格式8.5.3 Orc 格式8.5.4 Parquet 格式8.5.5 主流文件存储格式对比实验8.6 存储和压缩结合8.6.1 修改 Hado
2020-10-23 21:52:19
182
原创 Hive学习笔记（八）—— 函数
文章目录7.1 系统内置函数7.2 自定义函数7.2.1 自定义 UDF 函数7.2.2 自定义 UDTF 函数7.1 系统内置函数1）查看系统自带的函数hive> show functions;2）显示自带的函数的用法hive> desc function upper;3）详细显示自带的函数的用法hive> desc function extended upper;7.2 自定义函数1）Hive 自带了一些函数，比如：max/min 等，但是数量有限，自己可以通过
2020-10-23 15:57:45
300
1
原创 Hive学习笔记（七）—— 查询 （高级）
文章目录高级查询部分1. CASE WHEN / IF高级查询部分1. CASE WHEN / IF数据准备namedept_idsex悟空A男大海A男宋宋B男凤姐A女婷姐B女婷婷B女2．需求求出不同部门男女各多少人。结果如下：A 2 1B 1 23．创建本地 emp_sex.txt，添加数据悟空 A 男大海 A 男宋宋 B 男凤姐 A 女婷姐 B 女婷婷 B 女4．创建 hive 表并导
2020-10-23 11:26:12
291
原创 Hive学习笔记（六）—— 查询（基础）
文章目录查询语句语法：6.1 基本查询（Select…From）6.1.1 全表和特定列查询6.1.2 列别名6.1.3 算术运算符6.1.4 常用函数6.1.5 Limit 语句6.2 Where 语句6.2.1 比较运算符（Between/In/ Is Null）6.2.2 Like 和 RLike6.2.3 逻辑运算符（And/Or/Not）6.3 分组6.3.1 Group By 语句6.3.2 Having 语句6.4 Join 语句6.4.1 等值 Join6.4.2 表的别名6.4.3 内连接
2020-10-22 16:03:35
302
原创 Hive学习笔记（五）—— DML 数据操作
文章目录5.1 数据导入5.1.1 向表中装载数据（Load）5.1.2 通过查询语句向表中插入数据（Insert）5.1.3 查询语句中创建表并加载数据（As Select）5.1.4 创建表时通过 Location 指定加载数据路径5.1.5 Import 数据到指定 Hive 表中5.2 数据导出5.2.1 Insert 导出5.2.2 Hadoop 命令导出到本地5.2.5 Sqoop 导出5.3 清除表中数据（Truncate）5.1 数据导入5.1.1 向表中装载数据（Load）1．语法
2020-10-22 13:10:42
146
原创 Hive学习笔记（四）—— DDL 数据定义
文章目录4.1 创建数据库4.1 创建数据库1）创建一个数据库，数据库在 HDFS 上的默认存储路径是/user/hive/warehouse/*.db。hive (default)> create database db_hive;2）避免要创建的数据库已经存在错误，增加 if not exists 判断。（标准写法）hive (default)> create database db_hive;FAILED: Execution Error, return code 1 fro
2020-10-22 12:04:54
311
原创 Hive学习笔记（三）—— Hive 数据类型
文章目录Hive 数据类型3.1 基本数据类型3.2 集合数据类型3.3 类型转化Hive 数据类型3.1 基本数据类型Hive 数据类型Java 数据类型长度例子TINYINTbyte1byte 有符号整数20SMALINTshort2byte 有符号整数20INTint4byte 有符号整数20BIGINTlong8byte 有符号整数20BOOLEANboolean布尔类型，true 或者 falseTRUE FALS
2020-10-22 08:00:59
157
原创 Hive学习笔记（二）—— Hive的安装
文章目录Hive 安装2.1 Hive 安装地址2.2 Hive 安装部署2.3 将本地文件导入 Hive 案例2.4 MySql 安装2.4.1 安装包准备2.4.2 安装 MySql 服务器2.4.3 安装 MySql 客户端2.4.4 MySql 中 user 表中主机配置2.5 Hive 元数据配置到 MySql2.5.1 驱动拷贝2.5.2 配置 Metastore 到 MySql2.5.3 多窗口启动 Hive 测试2.6 HiveJDBC 访问2.6.1 启动 hiveserver2 服务2.
2020-10-21 18:06:42
437
原创 Hive学习笔记（一）—— Hive的入门
文章目录Hive 基本概念1.1 什么是 Hive1.2 Hive 的优缺点1.2.1 优点1.2.2 缺点1.3 Hive 架构原理1.4 Hive 和数据库比较1.4.1 查询语言1.4.2 数据存储位置1.4.3 数据更新1.4.4 索引1.4.5 执行1.4.6 执行延迟1.4.7 可扩展性1.4.8 数据规模Hive 基本概念1.1 什么是 HiveHive：由 Facebook 开源用于解决海量结构化日志的数据统计。Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文
2020-10-21 16:53:25
278
原创 warning: MySQL-server-5.5.48-1.linux2.6.i386.rpm: Header V3 DSA/SHA1 Signatu
CentOS rpm安装Mysql时出现这样的错误：warning: MySQL-server-5.5.48-1.linux2.6.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEYerror: Failed dependencies:/usr/bin/perl is needed by MySQL-server-5.5.481.linux2.6.x86_64原因：这是由于yum安装了旧版本的GPG keys造成的解决办
2020-10-20 17:05:42
831
原创 MySQL学习笔记（十八）—— MySQL的流程控制结构
文章目录流程控制结构一、分支结构1.if函数2.case结构3.if结构二、循环结构1.while2.loop3.repeat流程控制结构经典案例讲解流程控制结构/*顺序、分支、循环*/一、分支结构1.if函数/*语法：if(条件,值1，值2)功能：实现双分支应用在begin end中或外面*/2.case结构/*语法：情况1：类似于switchcase 变量或表达式when 值1 then 语句1;when 值2 then 语句2;...else 语句n;e
2020-10-20 16:30:07
205
原创 MySQL学习笔记（十七）—— MySQL的存储过程和函数
文章目录存储过程和函数存储过程一、创建语法1，注意：二、调用语法三、删除存储过程四、查看存储过程的信息存储过程案例讲解一、创建存储过程实现传入用户名和密码，插入到admin表中二、创建存储过程实现传入女神编号，返回女神名称和女神电话三、创建存储存储过程或函数实现传入两个女神生日，返回大小四、创建存储过程或函数实现传入一个日期，格式化成xx年xx月xx日并返回五、创建存储过程或函数实现传入女神名称，返回：女神 and 男神 格式的字符串六、创建存储过程或函数，根据传入的条目数和起始索引，查询beauty表的
2020-10-19 16:32:48
858
原创 MySQL学习笔记（十六）—— MySQL的变量
文章目录变量一、系统变量1》全局变量2》会话变量二、自定义变量1》用户变量2》局部变量用户变量和局部变量的对比变量/*系统变量： 全局变量 会话变量自定义变量： 用户变量 局部变量*/一、系统变量/*说明：变量由系统定义，不是用户定义，属于服务器层面注意：全局变量需要添加global关键字，会话变量需要添加session关键字，如果不写，默认会话级别使用步骤：1、查看所有系统变量show global|【session】variables;2、查看满足条件的部分系统变
2020-10-19 14:51:08
102
原创 MySQL学习笔记（十五）—— MySQL的视图
文章目录视图一、创建视图1.查询姓名中包含a字符的员工名、部门名和工种信息2.查询各部门的平均工资级别3.查询平均工资最低的部门信息4.查询平均工资最低的部门名和工资视图的好处二、视图的修改方式一：方式二：三、删除视图四、查看视图五、视图的更新1.插入2.修改3.删除具备以下特点的视图不允许更新视图/*含义：虚拟表，和普通表一样使用mysql5.1版本出现的新特性，是通过表动态生成的数据比如：舞蹈班和普通班级的对比 创建语法的关键字 是否实际占用物理空间 使用视图 create view
2020-10-17 18:31:29
286
原创 MySQL学习笔记（十四）—— MySQL的事务
文章目录TCL1.演示事务的使用步骤2.演示事务对于delete和truncate的处理的区别3.演示savepoint 的使用TCL/*Transaction Control Language 事务控制语言事务：一个或一组sql语句组成一个执行单元，这个执行单元要么全部执行，要么全部不执行。案例：转账张三丰 1000郭襄 1000update 表 set 张三丰的余额=500 where name='张三丰'意外update 表 set 郭襄的余额=1500 where n
2020-10-17 16:55:46
120
原创 MySQL学习笔记（十三）—— MySQL的标示列
文章目录标识列一、创建表时设置标识列标识列/*又称为自增长列含义：可以不用手动的插入值，系统提供默认的序列值特点：1、标识列必须和主键搭配吗？不一定，但要求是一个key2、一个表可以有几个标识列？至多一个！3、标识列的类型只能是数值型4、标识列可以通过 SET auto_increment_increment=3;设置步长可以通过 手动插入值，设置起始值*/一、创建表时设置标识列DROP TABLE IF EXISTS tab_identity;CREATE TABLE
2020-10-17 16:27:15
288
原创 MySQL学习笔记（十二）—— MySQL的常见约束
文章目录常见约束一、创建表时添加约束1.添加列级约束2.添加表级约束3.通用的写法：★二、修改表时添加约束1.添加非空约束2.添加默认约束3.添加主键4.添加唯一5.添加外键三、修改表时删除约束1.删除非空约束2.删除默认约束3.删除主键4.删除唯一5.删除外键常见约束/*含义：一种限制，用于限制表中的数据，为了保证表中的数据的准确和可靠性分类：六大约束 NOT NULL：非空，用于保证该字段的值不能为空 比如姓名、学号等 DEFAULT:默认，用于保证该字段有默认值 比如性别 P
2020-10-17 10:13:58
204
原创 MySQL学习笔记（十一）—— MySQL的数据类型
文章目录常见的数据类型一、整型1.如何设置无符号和有符号二、小数测试M和D原则：三、字符型四、日期型常见的数据类型/*数值型： 整型 小数： 定点数 浮点数字符型： 较短的文本：char、varchar 较长的文本：text、blob（较长的二进制数据）日期型：*/一、整型/*分类：tinyint、smallint、mediumint、int/integer、bigint1 2 3 4 8特点：① 如果不设置无符号还是有符号，默认是有符号，如果想设置无符
2020-10-16 17:17:01
154
原创 MySQL学习笔记（十）—— MySQL的DDL语言
文章目录DDL一、库的管理1、库的创建2、库的修改3、库的删除二、表的管理1.表的创建 ★2.表的修改3.表的删除4.表的复制DDL/*数据定义语言库和表的管理一、库的管理创建、修改、删除二、表的管理创建、修改、删除创建： create修改： alter删除： drop*/一、库的管理1、库的创建/*语法：create database [if not exists]库名;*/案例：创建库BooksCREATE DATABASE IF NOT EXI
2020-10-16 13:54:58
146
原创 MySQL学习笔记（九）—— MySQL的DML语言
文章目录一、插入语句方式一：经典的插入1.插入的值的类型要与列的类型一致或兼容2.不可以为null的列必须插入值。可以为null的列如何插入值？3.列的顺序是否可以调换4.列数和值的个数必须一致5.可以省略列名，默认所有列，而且列的顺序和表中列的顺序一致方式二：两种方式大pk ★1、方式一支持插入多行,方式二不支持2、方式一支持子查询，方式二不支持二、修改语句1.修改单表的记录2.修改多表的记录三、删除语句方式一：delete1.单表的删除2.多表的删除方式二：truncate语句delete pk tru
2020-10-16 12:04:08
275
原创 MySQL学习笔记（八）—— MySQL的分页查询，联合查询
文章目录分页查询 ★案例1：查询前五条员工信息案例2：查询第11条——第25条案例3：有奖金的员工信息，并且工资较高的前10名显示出来联合查询 ★引入的案例：查询部门编号>90或邮箱包含a的员工信息分页查询 ★/*应用场景：当要显示的数据，一页显示不全，需要分页提交sql请求语法： select 查询列表 from 表 【join type join 表2 on 连接条件 where 筛选条件 group by 分组字段 having 分组后的筛选 order by 排序的字
2020-10-16 10:52:32
129
原创 MySQL学习笔记（七）—— MySQL的子查询
文章目录子查询一、where或having后面1.标量子查询★2.列子查询（多行子查询）★3.行子查询（结果集一行多列或多行多列）二、select后面三、from后面四、exists后面（相关子查询）子查询/*含义：出现在其他语句中的select语句，称为子查询或内查询外部的查询语句，称为主查询或外查询分类：按子查询出现的位置： select后面： 仅仅支持标量子查询 from后面： 支持表子查询 where或having后面：★ 标量子查询（单行） √ 列子查询
2020-10-16 09:56:52
178
原创 MySQL学习笔记（六）—— MySQL的连接查询（sql92版本和sql99版本）
文章目录一、sql92标准1、等值连接1），为表起别名2），两个表的顺序是否可以调换3），可以加筛选4），可以加分组5），可以加排序6），可以实现三表连接2、非等值连接3、自连接二，sql99标准一）等值连接二）非等值连接三）自连接三、外连接 （sql99）左外连接 / 右外连接sql92 和 sql99pk/*含义：又称多表查询，当查询的字段来自于多个表时，就会用到连接查询笛卡尔乘积现象：表1 有m行，表2有n行，结果=m*n行发生原因：没有有效的连接条件如何避免：添加有效的连接条件分类
2020-10-15 18:54:22
444
1
原创 MySQL学习笔记（五）—— MySQL的分组查询
文章目录分组查询1.简单的分组2、可以实现分组前的筛选3、分组后筛选4.添加排序5.按多个字段分组分组查询/*语法：select 查询列表from 表【where 筛选条件】group by 分组的字段【order by 排序的字段】;特点：1、和分组函数一同查询的字段必须是group by后出现的字段2、筛选分为两类：分组前筛选和分组后筛选 针对的表 位置 连接的关键字分组前筛选 原始表 group by前 where 分组后筛选 group by后的结果集
2020-10-15 15:23:27
168
原创 MySQL学习笔记（四）—— MySQL的常见函数
文章目录常见函数1 . 单行函数字符函数：数学函数：日期函数：其他函数：控制函数案例一、字符函数二、数学函数三、日期函数四、其他函数五、流程控制函数2 . 分组函数1、简单 的使用2、参数支持哪些类型3、是否忽略null4、和distinct搭配5、count函数的详细介绍6、和分组函数一同查询的字段有限制常见函数/*概念：类似于java的方法，将一组逻辑语句封装在方法体中，对外暴露方法名好处：1、隐藏了实现细节 2、提高代码的重用性调用：select 函数名(实参列表) 【from 表】;
2020-10-15 10:06:41
142
原创 MySQL学习笔记（三）—— MySQL的条件查询，模糊查询，排序查询
文章目录条件查询一、按条件表达式筛选二，按逻辑表达式筛选模糊查询1.like2.between and3.in4.is null5.安全等于 <=>排序查询1、按单个字段排序2、添加筛选条件再排序3、按表达式排序4、按别名排序5、按函数排序6、按多个字段排序条件查询/*语法： select 查询列表 from 表名 where 筛选条件;分类： 一、按条件表达式筛选 简单条件运算符：> < = != <> >= <=
2020-10-14 20:42:14
282
原创 MySQL学习笔记（二）—— MySQL的基础查询
这里写目录标题创建一个sql文件命名为 （myemployees.sql）在cmd下导入即可employees表名介绍departments表名介绍locations表名介绍jobs表名介绍基础查询笔记基础查询1.查询表中的单个字段2.查询表中的多个字段3.查询表中的所有字段4.查询常量值5.查询表达式6.查询函数7.起别名8.去重9.+号的作用创建一个sql文件命名为 （myemployees.sql）/*SQLyog Ultimate v10.00 Beta1MySQL - 5.5.15 : D
2020-10-13 15:10:54
254
原创 MySQL学习笔记（一）—— 了解MySQL
文章目录数据库的好处数据库相关概念数据库存储数据的特点SQL的优点MySQL产品的介绍和安装MySQL服务的启动和停止MySQL服务的登录和退出MySQL的常见命令MySQL的语法规范SQL的语言分类数据库的好处 1.持久化数据到本地 2.可以实现结构化查询，方便管理数据库相关概念1、DB：数据库，保存一组有组织的数据的容器2、DBMS：数据库管理系统，又称为数据库软件（产品），用于管理DB中的数据3、SQL:结构化查询语言，用于和DBMS通信的语言数据库存储数据的特点1、将数据放到表
2020-10-13 14:06:40
219
原创 链表
文章目录链表(Linked List)介绍单链表的应用实例单链表面试题(新浪、百度、腾讯)双向链表应用实例双向链表的操作分析和实现单向环形链表应用场景单向环形链表介绍Josephu 问题Josephu 问题的代码实现链表(Linked List)介绍链表是有序的列表，但是它在内存中是存储如下小结上图:链表是以节点的方式来存储,是链式存储每个节点包含 data 域， next 域：指向下一个节点.如图：发现链表的各个节点不一定是连续存储.链表分带头节点的链表和没有头节点的链表，根据实际的需求
2020-10-04 16:11:00
233
原创 队列
文章目录队列队列的一个使用场景队列介绍数组模拟队列思路数组模拟环形队列队列队列的一个使用场景银行排队的案例:队列介绍队列是一个有序列表，可以用数组或是链表来实现。遵循先入先出的原则。即：先存入队列的数据，要先取出。后存入的要后取出示意图：(使用数组模拟队列示意图)数组模拟队列思路队列本身是有序列表，若使用数组的结构来存储队列的数据，则队列数组的声明如下图, 其中 maxSize 是该队列的最大容量。因为队列的输出、输入是分别从前后端来处理，因此需要两个变量 fron
2020-10-03 19:04:30
111
原创 稀疏数组
文章目录稀疏 sparsearray 数组先看一个实际的需求基本介绍应用实例稀疏 sparsearray 数组先看一个实际的需求编写的五子棋程序中，有存盘退出和续上盘的功能。分析问题: 因为该二维数组的很多值是默认值 0, 因此记录了很多没有意义的数据.->稀疏数组基本介绍当一个数组中大部分元素为０，或者为同一个值的数组时，可以使用稀疏数组来保存该数组。 稀疏数组的处理方法是:记录数组一共有几行几列，有多少个不同的值把具有不同值的元素的行列及值记录在一个小规模的数组中，从而缩小程序
2020-10-03 16:17:56
139
原创 概述
数据结构和算法概述数据结构和算法的关系数据 data 结构(structure)是一门研究组织数据方式的学科，有了编程语言也就有了数据结构.学好数据结构可以编写出更加漂亮,更加有效率的代码。要学习好数据结构就要多多考虑如何将生活中遇到的问题,用程序去实现解决.程序 = 数据结构 + 算法数据结构是算法的基础, 换言之，想要学好算法，需要把数据结构学到位。线性结构和非线性结构数据结构包括：线性结构和非线性结构。线性结构线性结构作为最常用的数据结构，其特点是数据元素之间存在一对一的线性关
2020-10-03 13:10:59
109
eclipse中的uml类图插件jar包
2023-08-21
远程连接虚拟机工具和文件传输工具
2023-08-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人