anti

java 代理+注解java注解实际上相当于一个标记，可以在使用时通过反射来获取方法或者类或者属性上的注解，来实现注解对应的操作。注解一般配合着代理来同时使用，一般使用注解+代理来实现aop。jdk的Proxy只支持接口代理，也就是需要代理的目标类必须有接口，代理类是接口的子类而不是目标类的子类，也就是说对于目标类上的非实现方法无法实现代理。// 接口类public interface Te...

elasticsearch 源码index操作这里介绍es的文档索引操作。index操作的入口是TransportIndexAction。对应的RequestHandler是父类中的OperationTransportHandler。调用OperationTransportHandler中的messageReceived方法，进而调用doExecute方法。doExecute主要逻辑：判断请求的...

elasticsearch 源码 创建索引创建索引过程，当我们客户端提交一个创建索引请求时，之前提到了es的transport模块，在处理请求时，会将请求分发到对应的TransportRequestHandler，而创建索引的入口就是TransportHandler对象，这个对象对应的类是TransportCreateIndexAction的内部类，而TransportCreateIndexA...

elasticsearch源码之Transportes使用netty来实现client和server，netty的启动在NettyTransport.java中，在此类中使用ChannelPipeline初始化了ClientBootstrap和ServerBootstrap，关于channelpipline这边不再多介绍，是netty中的一项功能。es的每个节点既是一个client也是一个se...

elasticsearch启动过程（4） 各个模块介绍在es程序运行到 InternalNode 中时，在此类的构造方法中完成了各个模块添加，依赖注入等服务。这些服务为es运行时的各种功能服务。1.modules.add(new Version.Module(version)) Version 中维护了各个版本的version对象，CURRENT为最新对象，包含了版本id，lucene...

hive分区表添加字段出现新增字段null的bug对于hive分区表，我们使用alter语句新增字段后（如alter table table_name add columns(age int)），再重写之前已经存在的分区，会出现使用查询语句查出来的新增字段显示null值。例如：表a ，分区dt，已有分区dt=’a’，由于需求新增了一个字段，然后重新写a 分区数据，写完后使用select发...

elasticsearch 启动过程源码（三）主要涉及NodeEnvironment注es 版本1.0上次看到了InternalNode构造函数中的压缩配置，今天就涉及到InternalNode中的非常重要的一行代码NodeEnvironment nodeEnvironment = new NodeEnvironment(this.settings, this.enviro...

elasticsearch 启动过程源码（二）主要涉及nodebuilder，plugin初始化，node settings更新注es 版本1.0上次我们讲到了Bootstrap中的initialSettings，初始化配置文件，并产生了environment，后边有什么关键地方呢？在Bootstrap中的main方法有如下代码bootstrap.setup(true, t...

elasticsearch源码 Bootstrap和initialSettings阅读源码的版本是 elasticsearch-1.0。官方给出使用/bin/elasticsearch来启动es，我们先来看/bin/elasticsearch这个文件/bin/elasticsearchif [ "x$daemonized" = "x" ]; then es_parms="$e...

java 变长参数，泛型相关问题工作中遇到的问题，是使用scala的array，使用java的Arrays.asList方法转换时，得到了意想不到的结果，因此查阅了很多资料对这个问题做以下总结，涉及到java中的泛型，可变参数，数组等。说到变长参数，必须要提到数组，数组到底是什么呢？是对象么？ 数组是对象，但是这个数组对象并不是从某个类实例化来的，而是由JVM直接创建的，因此查看类名的时...

HIVE 动态分区的一个坑在hive sql中使用动态分区非常方便，也比较常用，但是在使用的过程中会带来一些问题，比如：在一段sql语句中我需要指定两个字段当做动态分区，一个字段的基数为7，另一个为4，这就是28个分区，我们的sql语句的最后一个job是一个仅有map阶段的任务，数据量大有4000个map，这种情况下map任务在往hive分区中写的时候，每个map几乎都要产生28个文件，这样就...

HIVE Group by怎么使用group by这里不做过多介绍，这里主要记录下除了常用的group by操作外一些需要关注的地方。在一个select语句group时候对多个字段使用distinct是不允许的，如下。INSERT OVERWRITE TABLE pv_gender_aggSELECT pv_users.gender, count(DISTINCT pv_users.

HIVE ARCHIVE由于HDFS的设计，文件系统中的文件数量直接影响namenode中的内存消耗。虽然对于小型集群来说通常不是问题，但是当大于500万到1000万个文件时，内存使用量可能会在单台机器上达到可访问内存的限制。在这种情况下，拥有尽可能少的文件是有利的。 hive中的Archive实际上就是使用Hadoop Archive (HAR)，下边先介绍Hadoop Archive (

Hive Drop,Truncate&Alter这里主要介绍除create语句外两种常用的语句， Drop,Truncate和Alter。Drop,TruncateDROP TABLE [IF EXISTS] table_name [PURGE];DROP TABLE命令将会删除这个表的元数据和数据，如果是内部表且配置了Trash并且PURGE没有指定数据将会被移动到当前目录

HIVE Temporary Table&Constraint这两介绍下hive的临时表和表约束。Temporary Table创建的临时表仅仅在当前会话是可见的，数据将会被存储在用户的暂存目录中，并在会话结束时被删除。如果创建临时表的名字与当前数据库下的一个非临时表相同，则在这个会话中使用这个表名字时将会使用的临时表，而不是非临时表，用户在这个会话内将不能使用原表，除非删除或者重命名临时表。 临

HIVE Skewed TableSkewed Table可以提高有一个或多个列有倾斜值的表的性能，通过指定经常出现的值（严重倾斜），hive将会在元数据中记录这些倾斜的列名和值，在join时能够进行优化。若是指定了STORED AS DIRECTORIES，也就是使用列表桶（ListBucketing），hive会对倾斜的值建立子目录，查询会更加得到优化。可以再创建表是指定为 Skewed Tab

HIVE Bucketed Table在建表语句中使用语句 CLUSTERED BY这种类型表，虽说不常用，但是既然存在就会有其存在的价值，这里介绍下。Bucketed Table如下创建Bucketed table的示例：CREATE TABLE page_view(viewTime INT, userid BIGINT, page_url STRING, referrer_url ST

HIVE data TypesHIVE支持基本数据类型和一些复杂的数据类型。Numeric TypesTINYINT (1-byte signed integer, from -128 to 127)SMALLINT (2-byte signed integer, from -32,768 to 32,767)INT/INTEGER (4-byte signed integer, from -

HIVE Row Formats&SerDeSerde是 Serializer/Deserializer的简写。hive使用Serde进行行对象的序列与反序列化。What is a SerDe?SerDe is a short name for "Serializer and Deserializer."Hive uses SerDe (and FileFormat) to read and wr

HIVE STORED&Row formathive表数据在存储在文件系统上的，因此需要有文件存储格式来规范化数据的存储，一边hive写数据或者读数据。hive有一些已构建好的存储格式，也支持用户自定义文件存储格式。主要由两部分内容构成file_format和row_format,两者息息相关，在create table语句中结构如下：[ROW FORMAT row_format]...