- 博客(23)
- 收藏
- 关注
RSS订阅原创 Hive 索引
文章目录1.创建索引2.重建索引3.显示索引4.删除索引5.定制一个索引处理器1.创建索引 create index `index_name` on table `tbl_name`(attr) # 建立索引 as '索引处理器的全包名' # 指定索引处理器 with deferred rebuild # 指明在任何时候都可以进行索引创建和使用alter index idxproperties(k = v) # 附加属性 in table `index_store_table_n
2021-08-15 16:21:38
672
原创 Hive视图
文章目录1.创建视图2.删除视图3.修改视图4.查看视图1.创建视图Hive目前并不支持物化视图。 create view as select_statement2.删除视图 drop view if exists `tbl_name`3.修改视图视图是只读的，只能修改属性。 alter view `view_name` set tblproperties(key = value)4.查看视图视图结构的查看和表的查看方式是相同的。...
2021-08-12 19:08:51
495
原创 zookeeper数据的写流程
文章目录1.客户端向leader节点发送写入请求客户端向follower节点写入数据1.客户端向leader节点发送写入请求当超过半数节点被写入数据时，leader节点就会给客户端ack客户端向follower节点写入数据因为follower没有写入权限,所以会把请求转发给Leader,由Leader进行写入，所有写入操作由leader进行待办...
2021-08-11 18:58:01
409
原创 第六章 HiveQL查询
文章目录1.select...from语句1.从map,struct,array中取数据2.使用正则表达式来指定列的值3.可以对列值进行函数调用与算术表达式计算3.1算术表达式类型4.limit语句5.case...when...then6.什么情况下hive不会进行mapreduce2. where语句1逻辑运算符2关于浮点数的比较3.like和RLike3.group by 语句hiving 语句4. Join语句1.内连接(inner join)2.左外连接（left out join）1.sele
2021-08-10 18:23:20
399
原创 zookeeper的四种节点类型
zookeeper一共包含有四种节点类型，其分别是持久: 客户端与服务器断开连接后，客户端所创建的节点不会被删除。暂时: 客户端与服务器断开连接后，客户端所创建的节点会被删除。上下两两组合，所以一共有四种类的节点。节点的序号是一个单调递增且由父节点维护的序列，可以用来全局排序，标识时间的发生顺序。3. 有序号。4. 无序号。...
2021-08-10 14:16:09
780
原创 Zookeeper选举
文章目录zxid,sid,epoch变量的含义什么情况下会进行leader选举当一台机器进入选举流程时，服务器的两种状态集群在第一次启动时的投票算法。集群不是在第一次启动时的投票算法。zxid,sid,epoch变量的含义zxid：事务idsid : 服务器id，和myid一致，用来唯一的标识服务器。epoch : 标识leader的任期。什么情况下会进行leader选举服务器刚刚启动时。当某一台服务器无法和leader进行通信时。当一台机器进入选举流程时，服务器的两种状态集群中
2021-08-10 14:12:00
108
原创 第五章 HiveQL数据操作
文章目录5.1向管理表中装载数据5.2 通过查询语句向表中插入数据Hive中没有行级别的插入，更新和删除操作。唯一向Hive中进行插入数据的方法是数据装载操作，或者通过其他方式将数据写入到正确的目录当中。5.1向管理表中装载数据 load data [local] inpath 'path' [overwrite] into table `tbl_name` [partition(...)] local: 表示为本地文件系统,将本地文件拷贝到分布式文件系统中 没有使用local则将数
2021-08-05 17:38:59
120
原创 分区表
目录1. 建立分区表的语句2.插入2.1 静态分区插入数据2.2 动态分区插入数据3.查看分区信息4.删除分区什么是分区表？ 分区表是将较大的数据集，按分区字段进行分开存储，已达到优化查询速度的目的，在Hive中就是采用划分目录的策略来达到分区划分的目的。 Hive的一个分区名对应一个目录名，子分区名就是子目录名，并不是一个实际字段。什么是动态分区（DP dynamic partition）和静态(SP
2021-08-03 19:01:25
253
原创 2.scala循环
Title1.范围数据循环（to 前后闭合）2.范围数据循环（until 前闭后合）3.循环守卫4.循环步长5.循环嵌套6.break1.范围数据循环（to 前后闭合） for(i <- 1 to 1000){ 循环至 [1,1000] println(i) } // 1 //... //... // 10002.范围数据循环（until 前闭后合） for(i <- 1 to 1000){ 循环至 [1,1000) println(
2021-08-03 13:16:46
65
原创 第一章 变量和数据类型
标题1.变量和常量2.字符串输出1.变量和常量 var 变量名[:变量类型] = 初始值 var i:Int = 20 val 常量名[:常量类型] = 初试值 val j:Int = 122.字符串输出 1.printf 2.字符串模板 val name = "dza" val age = "22" val str = s"我的名字是${name} 年龄是 ${age + 2}"; 3.多行字符串 s = """ |a |b |c
2021-08-03 12:36:18
48
原创 MySQL存储过程和函数
文章目录1.什么是存储过程和函数2.存储过程和函数的相关操作2.1 存储过程和函数的创建2.2 删除存储过程和函数2.3 查看存储过程和函数的信息3.变量的使用3.1 变量的定义3.2 变量的赋值4. 条件的定义和处理5. 流程控制语句5.1 if语句5.2 CASE语句5.3 loop循环5.4 iterate5.5 repeat5.6 while6.光标1.什么是存储过程和函数1.存储过程和函数是实现经过编译并被存储在数据库中的一段sql语句集合。2.函数具有返回值，存储过程无返回值。3.存储
2021-07-31 16:59:52
93
原创 MySQL视图
视图是一种虚拟表，对用户来说是透明的。这里透明的意思是指，用户在使用时体会不到视图和真实存在的物理表之间的区别。1.视图的优点简单。安全，便于权限管理。数据独立。2.视图的创建MySQL中的视图FROM关键字后不能包含子查询，这和其他数据库有些不同。视图的可更新性和视图的定义有关系视图中包含聚合函数，group by, union,union all , distinct 和having子句.
2021-07-30 17:02:17
60
原创 索引的设计和使用原则
文章目录1 索引概述2.设计索引的原则索引是数据库中用来提高性能的最常用工具。1 索引概述MySQL所有的列都能够被索引，对相关列使用索引是提升性能的最佳途径。MyISAM和Innodb的默认索引都是使用 BTree索引。MySQL索引的四种类型。普通索引 : 值可以为null,没有唯一性约束。唯一索引 : 值可以为null, 有唯一性约束。主键索引 : 是一种唯一性约束，但是它必须被指定为primary key。全文索引 : 支持在char,varchar,text上建立
2021-07-29 16:03:39
112
原创 Java-NIO
1.Channel既可以从通道中读取数据，又可以写数据到通道。但流的读写通常是单向的。通道可以异步地读写。通道中的数据总是要先读到一个Buffer，或者总是要从一个Buffer中写入。1.1 Channel的各种实现FileChannel: 从文件中读写数据。DatagramChannel: 能通过UDP读写网络中的数据。SocketChannel: 能通过TCP读写网络中的数据。ServerSocketChannel: 可以监听新进来的TCP连接，像Web服务器那样。对每一个新进来
2021-07-27 21:09:32
122
原创 第三章 数据类型和文件格式
文章目录3.1 基本数据类型3.2集合数据类型3.3 文本文件数据编码3.4 读时模式3.1 基本数据类型数据类型长度tinyint1bytesmallint2byteint4bytelong8bytefloat单精度浮点数double双精度浮点数string字符串timestamp时间戳类型binary字节数组tips:一个表指定的数据只有三列，假如数据文件中一行的数据有五列。那么HIVE会自动忽略后面两列
2021-07-27 19:31:10
233
原创 第四章 HiveQL：数据定义
文章目录4.0 绪论4.1 Hive中的数据库4.2 修改数据库4.0 绪论Hive不支持行级别的插入操作，更新操作和删除操作。4.1 Hive中的数据库Hive数据库本质上是表的一个目录或者说是命名空间。如果用户没有指定使用的数据库，那么就会使用default数据库。创建一个数据库Hive为每个数据库创建一个目录，数据库中的表是以子目录的形式存储的。数据库所在默认目录位于属性hive.metastore.warehouse.dir所指定的目录。 create databas
2021-07-25 19:18:14
88
原创 MySQL索引
文章目录1. ＭySQL的执行过程2. 索引的数据结构选择1. ＭySQL的执行过程索引存在的作用: 就是为了减少磁盘IO的次数。2. 索引的数据结构选择索引需要持久化存储吗？需要的。索引到底存储了什么数据？索引关键字段-文件位置-文件的偏移量(地址)使用什么数据结构？树和Hash表。什么是OLAP?其作用是什么？OLAP表示联机分析处理。是对海量数据进行分析，不要求在短时间内返回结果，应用场景比如数据仓库。什么是OLTP？其作用是什么？OL
2021-07-25 16:44:43
60
原创 5. 最长回文子串
题目描述给你一个字符串 s，找到 s 中最长的回文子串。示例一输入：s = "babad"输出："bab"解释："aba" 同样是符合题意的答案。解题思路中心扩散思路1.s中的每个位置的字符，有两种情况，一种是向两边拓展出偶数位数的回文串如 ‘baab’。 一种是奇数位数的回文串，如’a’。2.我们只需循环遍历要把每个字符当作中心，然后分别拓展，找出最大子串即可。代码实现class Solution { public String longestPalindrome(S
2021-05-19 10:01:24
41
原创 498. 对角线遍历
题目描述给定一个含有 M x N 个元素的矩阵（M 行，N 列），请以对角线遍历的顺序返回这个矩阵中的所有元素，对角线遍历如下图所示。示例一输入：输入:[ [ 1, 2, 3 ], [ 4, 5, 6 ], [ 7, 8, 9 ]]输出: [1,2,4,7,5,3,6,8,9]解题思路本题目采用模拟的方法，i,j代表目前所在的位置,direction 表示方向（1表示向上走，-1表示向下走），在边界时需要改变方向。代码实现class Solution { p
2021-05-17 07:47:41
47
原创 面试题 01.08. 零矩阵
题目描述编写一种算法，若M × N矩阵中某个元素为0，则将其所在的行与列清零。示例一输入：[ [1,1,1], [1,0,1], [1,1,1]]输出：[ [1,0,1], [0,0,0], [1,0,1]]示例二输入：[ [0,1,2,0], [3,4,5,2], [1,3,1,5]]输出：[ [0,0,0,0], [0,4,5,0], [0,3,1,0]]解题思路这道题目是有坑的，如果只是在循环中判断元素为0，然后
2021-05-14 10:30:19
84
原创 leetcode 48. 旋转图像
题目描述给定一个 n × n 的二维矩阵 matrix 表示一个图像。请你将图像顺时针旋转 90 度。你必须在 原地 旋转图像，这意味着你需要直接修改输入的二维矩阵。请不要 使用另一个矩阵来旋转图像。示例一输入：matrix = [[1,2,3],[4,5,6],[7,8,9]]输出：[[7,4,1],[8,5,2],[9,6,3]]示例二输入：matrix = [[5,1,9,11],[2,4,8,10],[13,3,6,7],[15,14,12,16]]输出：[[15,13,2,5]
2021-05-14 09:56:40
40
原创 leetcode 56. 合并区间
leetcode 56. 合并区间题目描述: 以数组 intervals 表示若干个区间的集合，其中单个区间为 intervals[i] = [starti, endi] 。请你合并所有重叠的区间，并返回一个不重叠的区间数组，该数组需恰好覆盖输入中的所有区间。示例一输入：intervals = [[1,3],[2,6],[8,10],[15,18]]输出：[[1,6],[8,10],[15,18]]解释：区间 [1,3] 和 [2,6] 重叠, 将它们合并为 [1,6].示例二输入：int
2021-05-14 09:29:47
75
转载 redis并发处理秒杀的几种方案
本文章记录的是秒杀库存的解决方案,解决并发问题。@RestControllerpublic class SpikeController { @Autowired private StringRedisTemplate redisTemplate; private AtomicInteger successNum = new AtomicInteger(0); ...
2019-04-26 20:46:37
775
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人