2015年10月_三劫散仙

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创海量可视化日志分析平台之ELK搭建

ELK是什么？ E=ElasticSearch ，一款基于的Lucene的分布式搜索引擎，我们熟悉的github，就是由ElastiSearch提供的搜索，据传已经有10TB+的数据量。 L=LogStash ，一款分布式日志收集系统，支持多输入源，并内置一些过滤操作，支持多输入元 K=Kibana ，一款配合ElasticSearch的web可视化界面，内置非常各种查询，聚合操作

2015-10-21 14:34:48 5765

海量可视化日志分析平台之ELK搭建

ELK是什么？E=ElasticSearch ，一款基于的Lucene的分布式搜索引擎，我们熟悉的github，就是由ElastiSearch提供的搜索，据传已经有10TB+的数据量。L=LogStash ，一款分布式日志收集系统，支持多输入源，并内置一些过滤操作，支持多输入元K=Kibana ，一款配合ElasticSearch的web可视化界面，内置非常各种查询，聚合操作，并拥...

2015-10-21 14:30:33 137

原创设置Hadoop+Hbase集群pid文件存储位置

有时候，我们对运行几天或者几个月的hadoop或者hbase集群做停止操作，会发现，停止命令不管用了，为什么呢？因为基于java开发的程序，想要停止程序，必须通过进程pid来确定，而hadoop和hbase默认的情况下，会把pid文件存储在Linux上的/tmp目录的某个目录下，进程名命令规则一般是框架名-用户名-角色名.pid，而默认情况下，linux的tmp里面的东西，一天会删除一次

2015-10-20 13:43:47 867

设置Hadoop+Hbase集群pid文件存储位置

[size=large] 有时候，我们对运行几天或者几个月的hadoop或者hbase集群做停止操作，会发现，停止命令不管用了，为什么呢？因为基于java开发的程序，想要停止程序，必须通过进程pid来确定，而hadoop和hbase默认的情况下，会把pid文件存储在Linux上的/tmp目录的某个目录下，进程名命令规则一般是框架名-用户名-角色名.pid，而默认情况下，linux的tmp里...

2015-10-20 13:40:55 175

Linux网络神器之强大的NetCat命令

[size=large]名称：netcat命令在linux中别名为nc作用：支持任意的TCP和UDP连接，监听和读写描述：nc功能支持的协议通常包括TCP和UDP，它可以打开TCP连接，发送UDP数据包，监听任意的TCP或UDP端号，扫描端口，以及处理IPv4和IPv6，与telnet不同的是，nc脚本更精致，分离错误信息进入标准的错误代替发送他们到标准的输出常用的功能：（1）简单...

2015-10-15 21:40:20 215

Solr中Group和Facet的用法

先来看一下Group与Facet的区别：相同点：两者都能分组一个或多个字段并求数量，并支持组内分页不同点：facet可以对分组数量进行过滤，以及排序，和日期范围，时间范围分组，但是如果你想得到具体的数据，还得需要查询一次或多次group可以得到分组的组数量，一次请求，可以拿到所有的数据。facet可用来做电商网站的这个功能：[img]http://dl2.ite...

2015-10-14 19:40:59 574 1

海量数据去重之SimHash算法简介和应用

[img]http://dl2.iteye.com/upload/attachment/0112/3040/a7a26162-fe11-3ce1-bb11-9884b9bc42d5.jpg[/img][size=large]SimHash是什么SimHash是Google在2007年发表的论文《Detecting Near-Duplicates for Web Crawling 》...

2015-10-13 19:25:08 142

原创海量数据去重之SimHash算法简介和应用

SimHash是什么SimHash是Google在2007年发表的论文《Detecting Near-Duplicates for Web Crawling 》中提到的一种指纹生成算法或者叫指纹提取算法，被Google广泛应用在亿级的网页去重的Job中，作为locality sensitive hash（局部敏感哈希）的一种，其主要思想是降维，什么是降维？举个通俗点的例子，一篇若干数量的

2015-10-13 19:06:38 14316

原创重温java代理模式

文章关键词：java代理，jdk动态代理，cglib代理，AOP，切面编程今天，逛技术博客时，无意间发现了一篇有关动态代理模式的文章，感觉写的不错，自己正好也在巩固下基础知识，虽然实际工作中用代理的模式的不是特别多，那是因为你使用的框架，已经帮你封装好了，所以，你可能感觉不到，但是感觉不到不但表不存在，了解下它的原理和使用场景还是能提高下逼格的。于是散仙总结了下文，还有一个实战小例子，

2015-10-08 19:43:40 563

重温java代理模式

[size=x-large][color=olive]文章关键词：java代理，jdk动态代理，cglib代理，AOP，切面编程[/color][/size][size=large]今天，逛技术博客时，无意间发现了一篇有关动态代理模式的文章，感觉写的不错，自己正好也在巩固下基础知识，虽然实际工作中用代理的模式的不是特别多，那是因为你使用的框架，已经帮你封装好了，所以，你可能感觉不到，但是感...

2015-10-08 19:33:48 126