CopyOnWriteArrayList原理,优缺点,使用场景

什么是CopyOnWrite容器   CopyOnWrite容器即写时复制的容器。通俗的理解是当我们往一个容器添加元素的时候,不直接往当前容器添加,而是先将当前容器进行Copy,复制出一个新的容器,然后新的容器里添加元素,添加完元素之后,再将原容器的引用指向新的容器。这样做的好处是我们可以对Co...

2019-05-22 21:50:51

阅读数 9

评论数 0

mysql explain详解

Explain简介 本文主要讲述如何通过 explain 命令获取 select 语句的执行计划,通过 explain 我们可以知道以下信息:表的读取顺序,数据读取操作的类型,哪些索引可以使用,哪些索引实际使用了,表之间的引用,每张表有多少行被优化器查询等信息。 下面是使用 explain 的...

2019-05-22 14:26:42

阅读数 12

评论数 0

Mysql,Hive union all使用

union all并不只是需要两个子查询的字段名称、顺序要一致,当不一致时会起到补充的作用,仍然使用第一个字段名 Hive 1 2 Mysql: 1 select area_name from area_table where province_name='山西' an...

2019-05-21 22:05:44

阅读数 5

评论数 0

select 某些字段比select * 更快

1尽量养成不要使用*的习惯,select * 可能会对性能产生严重影响, 有一种索引,叫做覆盖索引。准确来说它不是一种索引方式,而是一种索引覆盖查询列程度。比如有一个常用查询,只需要用到表中的某两列,user_id和post_id,而且有一个多列索引已经覆盖了这两个列,那么这个索引就是这个查询的覆...

2019-05-21 22:02:58

阅读数 8

评论数 0

MySQL覆盖索引和优化

聚集索引和辅助索引 聚集索引(主键索引) —innodb存储引擎是索引组织表,即表中的数据按照主键顺序存放。而聚集索引就是按照每张表的主键构造一颗B+树,同时叶子节点中存放的即为整张表的记录数据 —聚集索引的叶子节点称为数据页,数据页,数据页!重要的事说三遍。聚集索引的这个特性决定了索引组织表...

2019-05-21 21:53:59

阅读数 6

评论数 0

HIve 在指定位置添加字段

分两步,先添加字段到最后(add columns),然后再移动到指定位置(change) alter table table_name add columns (c_time string comment '当前时间'); -- 正确,添加在最后 alter table table_name ...

2019-05-12 19:31:28

阅读数 32

评论数 0

Hive内部表 外部表 区别

以下基于Hive 2.0.0-SNAPSHOT,本人亲自实验的结论!! 1 添加字段会导致表结构同时改变,与是否是外部表内部表无关,也与是否指定location无关! 从本地load新分区的数据会导致表的分区信息同时改变,与是否是外部表内部表无关,也与是否指定location无关! 2 ...

2019-05-11 16:21:47

阅读数 40

评论数 0

《effective java》66:同步访问共享的可变数据

1 public class ConcurrentAccessShareVariable66 { private static boolean stopFlag; public static void main(String[] args) throws Interrupted...

2019-05-09 21:26:35

阅读数 19

评论数 0

hive 列转行

方法1:(不报错,达不到效果) select count(*) as new_count1 from sales_info where dt='2019-04-26' union all select count(*) as new_count2 from sales_info where...

2019-05-09 20:36:14

阅读数 14

评论数 0

第68条:executor和task优先于线程

为啥呢? 新创建的线程缺少有效的管理,可重用性差,线程过多会造成线程切换上的额外开销

2019-05-08 21:10:42

阅读数 26

评论数 0

java往hive 的map类型字段写数据

该表的该字段类型是map<string,string> 对应类的该属性的类型需要定义成String,不可定义成Map<String,String> !! 方法1: 建表语句定义map的分隔符: row format delimited...

2019-05-06 21:36:11

阅读数 21

评论数 0

《effective java》68:executor和task优先于线程

java.util.concurrent 包里有一个Executor 框架 基于接口的任务执行工具 只需要一行代码 提交一个runnable 方法 优雅的终止(必须做到,不然虚拟机可能不会退出) 对于负载不重的服务 Executors.newCachedThrea...

2019-04-28 20:43:00

阅读数 54

评论数 0

Hive lateral view 注意事项

1 如果指定字段名则需要把lateral view查询出的列写到select中,才能在结果中出现;如果直接是select * 则自动会把lateral view查询出的列追加在后面。 2where 条件要写在lateral view 后面,不然报错 详见: Hive lateral view...

2019-04-28 20:40:46

阅读数 45

评论数 0

Hive lateral view ,get_json_object,json_tuple 用法

【Hive】解析json(get_json_object)https://blog.csdn.net/qq_34105362/article/details/80454697 lateral view:如果指定字段名则需要把lateral view查询出的列写到select中,才能在结果中出现;...

2019-04-28 20:39:57

阅读数 68

评论数 0

Hive explode lateral view 用法

类似于SqlServer的游标,把字段的内容转换成行显示。 lateral view UDTF(expression)tableAliasName as colAliasName 其中UDTF(expression)表示表生成函数说白了就是行转列的函数,即一行变为多行的函数,比如explode...

2019-04-28 20:39:30

阅读数 51

评论数 0

Hive 导入array,map,要定义好分隔符,不用带双引号,

建表语句:指定array元素分隔符,map keys分隔符很重要!! create table sales_info_new( sku_id string comment '商品id', sku_name string comment '商品名称', state_map map<...

2019-04-28 20:39:04

阅读数 59

评论数 0

Hive ,At least 1 group must only depend on input columns. Also check for circular dependencies.

使用rank()排序报错: 2019-04-28 09:35:08,100 FAILED: SemanticException Failed to breakup Windowing invocations into Groups. At least 1 group must only depe...

2019-04-28 11:47:01

阅读数 94

评论数 0

Hive,分组后前几,Top N,记录

select * from sales_info where dt = '2019-04-26'; 查询每个分类下,GMV(销售额)前三的商品明细: select a.* FROM ( select sku_id,sku_name,category_id3,sales_co...

2019-04-28 11:44:10

阅读数 27

评论数 0

Hive ,开窗函数,sum,row_number,dense_rank,percent_rank

1 排序:row_number(),dense_rank() select sku_id,sku_name,category_id3,sales_count,price, sales_count*price as s1, dense_rank() over(partition by cat...

2019-04-28 11:40:29

阅读数 27

评论数 0

hive order by 聚合函数 别名

建表语句: CREATE TABLE `sales_info`( `sku_id` string COMMENT '商品id', `sku_name` string COMMENT '商品名称', `category_id3` string COMMENT '三级分类id', `pric...

2019-04-27 20:00:39

阅读数 70

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭