2015年11月_Eric-L90

12月 11月 10月 09月 08月 07月 06月 05月 04月 01月

原创 Elasticsearch分片控制

elasticsearch可以通过reroute api来手动进行索引分片的分配。不过要想完全手动，必须先把cluster.routing.allocation.disable_allocation参数设置为true，禁止es进行自动索引分片分配，否则你从一节点把分片移到另外一个节点，那么另外一个节点的一个分片又会移到那个节点。数据量很少的时候,可能影响不大,但是如果数据量很大,这个参数必

2015-11-28 11:24:25 4473

转载 Linux 文件基本属性

Linux系统是一种典型的多用户系统，不同的用户处于不同的地位，拥有不同的权限。为了保护系统的安全性，Linux系统对不同的用户访问同一文件（包括目录文件）的权限做了不同的规定。在Linux中我们可以使用ll或者ls –l命令来显示一个文件的属性以及文件所属的用户和组，如：[root@www /]# ls -ltotal 64dr-xr-xr-x 2 root root 4096

2015-11-27 10:25:42 395

转载 hbase调优

转自：http://itindex.net/detail/49632-hbase-%E6%80%A7%E8%83%BD%E8%B0%83%E4%BC%98一、服务端调优 1、参数配置 1）、hbase.regionserver.handler.count：该设置决定了处理RPC的线程数量，默认值是10，通常可以调大，比如：150，当请求内容很大（上MB，比如大的put、使用缓存

2015-11-18 16:54:36 550

HBase中，表会被划分为1...n个Region，被托管在RegionServer中。Region二个重要的属性:StartKey与 EndKey表示这个Region维护的rowKey范围，当我们要读/写数据时，如果rowKey落在某个start-end key范围内，那么就会定位到目标region并且读/写到相关的数据。简单地说，有那么一点点类似人群划分，1-15岁为小朋友,16-39岁为年轻

2015-11-16 09:57:39 3123

原创 Elasticsearch的field类型。

Elasticsearch中的域，可以理解为RDBMS中的字段，在创建mapping的时候需要指定类型。type 类型，可以是boolean,long,double,date,stringThe datatype that the field contains, such as string or date index 是否进行索引，

2015-11-11 17:17:11 5017

原创 Elasticsearch 全字段搜索_all，query_string查询，不进行分词

最近在使用ELasitcsearch的时候，需要用到关键字搜索，因为是全字段搜索，就需要使用_all字段的query_string进行搜索。但是在使用的时候，遇到问题了。我们的业务并不需要分词，我在各个字段也设置了，not_analyzed。但是在使用query_string对_all字段进行查询的时候，发现结果是分词之后，赶紧找问题。。最后在官网找到这么一段话：Remember th

2015-11-11 16:50:03 29656

原创通过CM启动hive报错.org.apache.hadoop.hive.metastore.HiveMetaException: Failed to load driver

1,通过Cloudera Manager添加Hive服务，在启动Hive的时候遇到错误：.org.apache.hadoop.hive.metastore.HiveMetaException: Failed to load driver这种情况，猜测是缺少jdbc驱动，于是添加jdbc驱动到相应的包下面。报的错中提示了lib路径，添加一下即可。mysql-connector-jav

2015-11-05 13:49:33 24109

转载 eclipse突然不自动提示了，几种情况如下所示

最近公司电脑上的Eclipse没有了自动提示功能，也不是全部不提示，大多数情况下按下“alt+/”键还会产生提示，但是当我在java项目中邪main方法和syso的时候，“alt+/”则会失效，今天在网上搜索了一下结果，主要有一下几种方法： 1、次方法用于没有一点提示的情况：依次打开eclipse上面的windows ——preferences ——java ——editor —— co

2015-11-03 11:37:20 8684 4

转载 kafka原理以及安装

两篇介绍kafka不错的博客，讲的非常详细了。http://www.aboutyun.com/thread-9341-1-1.htmlhttp://www.linuxidc.com/Linux/2014-01/94682.htmhttp://www.tuicool.com/articles/RNbU32Bhttp://www.cnblogs.com/sunxucool/p/3913

2015-11-02 15:32:42 551

原创 Mysql报错：Please DISCARD the tablespace before IMPORT

今天在使用MySQL，创建表的时候遇到错误，tablespace for table ××××× exist, Please DISCARD the tablespace before IMPORT看了以下，其实并没有这个表的存在，后来看mysql的数据目录的时候，发现，在对应数据库的目录下真的还有该表的文件存在，应该是以前删除表的时候没有删除干净，导致表的一些数据文件还存在，所以，创建表

2015-11-02 09:34:29 17078 2