坚持，让梦想闪耀！

排序：
默认
按更新时间
按访问量
RSS订阅

转 CopyOnWriteArrayList原理，优缺点，使用场景

什么是CopyOnWrite容器 　　CopyOnWrite容器即写时复制的容器。通俗的理解是当我们往一个容器添加元素的时候，不直接往当前容器添加，而是先将当前容器进行Copy，复制出一个新的容器，然后新的容器里添加元素，添加完元素之后，再将原容器的引用指向新的容器。这样做的好处是我们可以对Co...

2019-05-22 21:50:51

阅读数 9

评论数 0

转 mysql explain详解

Explain简介 本文主要讲述如何通过 explain 命令获取 select 语句的执行计划，通过 explain 我们可以知道以下信息：表的读取顺序，数据读取操作的类型，哪些索引可以使用，哪些索引实际使用了，表之间的引用，每张表有多少行被优化器查询等信息。 下面是使用 explain 的...

2019-05-22 14:26:42

阅读数 12

评论数 0

原 Mysql,Hive union all使用

union all并不只是需要两个子查询的字段名称、顺序要一致，当不一致时会起到补充的作用，仍然使用第一个字段名 Hive 1 2 Mysql: 1 select area_name from area_table where province_name='山西' an...

2019-05-21 22:05:44

阅读数 5

评论数 0

转 select 某些字段比select * 更快

1尽量养成不要使用*的习惯，select * 可能会对性能产生严重影响, 有一种索引，叫做覆盖索引。准确来说它不是一种索引方式，而是一种索引覆盖查询列程度。比如有一个常用查询，只需要用到表中的某两列，user_id和post_id，而且有一个多列索引已经覆盖了这两个列，那么这个索引就是这个查询的覆...

2019-05-21 22:02:58

阅读数 8

评论数 0

转 MySQL覆盖索引和优化

聚集索引和辅助索引 聚集索引（主键索引） —innodb存储引擎是索引组织表，即表中的数据按照主键顺序存放。而聚集索引就是按照每张表的主键构造一颗B+树，同时叶子节点中存放的即为整张表的记录数据 —聚集索引的叶子节点称为数据页，数据页，数据页！重要的事说三遍。聚集索引的这个特性决定了索引组织表...

2019-05-21 21:53:59

阅读数 6

评论数 0

原 HIve 在指定位置添加字段

分两步，先添加字段到最后（add columns），然后再移动到指定位置（change） alter table table_name add columns (c_time string comment '当前时间'); -- 正确，添加在最后 alter table table_name ...

2019-05-12 19:31:28

阅读数 32

评论数 0

原 Hive内部表 外部表 区别

以下基于Hive 2.0.0-SNAPSHOT，本人亲自实验的结论！！ 1 添加字段会导致表结构同时改变，与是否是外部表内部表无关，也与是否指定location无关！ 从本地load新分区的数据会导致表的分区信息同时改变，与是否是外部表内部表无关，也与是否指定location无关！ 2 ...

2019-05-11 16:21:47

阅读数 40

评论数 0

原 《effective java》66：同步访问共享的可变数据

1 public class ConcurrentAccessShareVariable66 { private static boolean stopFlag; public static void main(String[] args) throws Interrupted...

2019-05-09 21:26:35

阅读数 19

评论数 0

原 hive 列转行

方法1：（不报错，达不到效果） select count(*) as new_count1 from sales_info where dt='2019-04-26' union all select count(*) as new_count2 from sales_info where...

2019-05-09 20:36:14

阅读数 14

评论数 0

原 第68条：executor和task优先于线程

为啥呢？ 新创建的线程缺少有效的管理，可重用性差，线程过多会造成线程切换上的额外开销

2019-05-08 21:10:42

阅读数 26

评论数 0

原 java往hive 的map类型字段写数据

该表的该字段类型是map<string,string> 对应类的该属性的类型需要定义成String，不可定义成Map<String,String> ！！ 方法1: 建表语句定义map的分隔符： row format delimited...

2019-05-06 21:36:11

阅读数 21

评论数 0

转 《effective java》68:executor和task优先于线程

java.util.concurrent 包里有一个Executor 框架 基于接口的任务执行工具 只需要一行代码 提交一个runnable 方法 优雅的终止（必须做到，不然虚拟机可能不会退出） 对于负载不重的服务 Executors.newCachedThrea...

2019-04-28 20:43:00

阅读数 54

评论数 0

原 Hive lateral view 注意事项

1 如果指定字段名则需要把lateral view查询出的列写到select中，才能在结果中出现；如果直接是select * 则自动会把lateral view查询出的列追加在后面。 2where 条件要写在lateral view 后面，不然报错 详见： Hive lateral view...

2019-04-28 20:40:46

阅读数 45

评论数 0

原 Hive lateral view ,get_json_object,json_tuple 用法

【Hive】解析json（get_json_object）https://blog.csdn.net/qq_34105362/article/details/80454697 lateral view：如果指定字段名则需要把lateral view查询出的列写到select中，才能在结果中出现；...

2019-04-28 20:39:57

阅读数 68

评论数 0

原 Hive explode lateral view 用法

类似于SqlServer的游标，把字段的内容转换成行显示。 lateral view UDTF(expression)tableAliasName as colAliasName 其中UDTF(expression)表示表生成函数说白了就是行转列的函数，即一行变为多行的函数，比如explode...

2019-04-28 20:39:30

阅读数 51

评论数 0

原 Hive 导入array,map，要定义好分隔符，不用带双引号，

建表语句：指定array元素分隔符，map keys分隔符很重要！！ create table sales_info_new( sku_id string comment '商品id', sku_name string comment '商品名称', state_map map<...

2019-04-28 20:39:04

阅读数 59

评论数 0

原 Hive ,At least 1 group must only depend on input columns. Also check for circular dependencies.

使用rank()排序报错: 2019-04-28 09:35:08,100 FAILED: SemanticException Failed to breakup Windowing invocations into Groups. At least 1 group must only depe...

2019-04-28 11:47:01

阅读数 94

评论数 0

原 Hive,分组后前几，Top N，记录

select * from sales_info where dt = '2019-04-26'; 查询每个分类下，GMV（销售额）前三的商品明细： select a.* FROM ( select sku_id,sku_name,category_id3,sales_co...

2019-04-28 11:44:10

阅读数 27

评论数 0

原 Hive ,开窗函数，sum,row_number,dense_rank,percent_rank

1 排序：row_number(),dense_rank() select sku_id,sku_name,category_id3,sales_count,price, sales_count*price as s1, dense_rank() over(partition by cat...

2019-04-28 11:40:29

阅读数 27

评论数 0

原 hive order by 聚合函数 别名

建表语句： CREATE TABLE `sales_info`( `sku_id` string COMMENT '商品id', `sku_name` string COMMENT '商品名称', `category_id3` string COMMENT '三级分类id', `pric...

2019-04-27 20:00:39

阅读数 70

评论数 0

提示
确定要删除当前文章？
取消 删除
关闭
关闭