2016年01月_千丈之松

12月 11月 10月 09月 08月 07月 06月 05月 04月 02月 01月

原创用ELK 实时处理搜索日志

本来这块业务是放到SolrCloud上去的，然后采用solr的facet统计查询，具体代码参考之前写的文章：http://blog.csdn.net/hu948162999/article/details/50162643 最近遇到SolrCloud 遇到一些问题。。查询db时间过长，SolrCloud的长连接CloudSolrServer老timeout，索引的效率也不够满

2016-01-27 17:53:38 6461

转载使用elasticsearch遇到的一些问题以及解决方法

1.由gc引起节点脱离集群因为gc时会使jvm停止工作，如果某个节点gc时间过长，master ping3次（zen discovery默认ping失败重试3次）不通后就会把该节点剔除出集群，从而导致索引进行重新分配。解决方法：（1）优化gc，减少gc时间。（2）调大zen discovery的重试次数（es参数：ping_retries）和超时时间（es参数：ping_t

2016-01-22 17:40:08 18230

原创 Logstash+ElasticSearch+Kibana日志分析系统

线上需求：处理nginx的访问access日志和商城的搜索历史记录。（由于访问量不大、没有用到redis或者其他消息队列）。之前做的一个版本使用solrcloud做电商搜索引擎、elasticsearch做实时日志系统。参考文档资料：http://elasticsearch.cn/ medcl的中文社区http://kibana.logstash.es/

2016-01-12 12:52:05 1776

原创网络通信协议笔记

http应用层协议，基于tcptcp：传输层协议；面向连接，必须先与对方确认关系。3次握手。。例如telnetudp：传输层协议；面向非连接的。不管对方状态，直接发送，例如qq。可靠性低ip ：网络层协议socket：基于tcp/ip网络的api 网络通信io i：就是从硬盘到内存o：从内存到硬盘nio 新io

2016-01-07 14:08:32 634

转载分布式搜索elasticsearch配置文件详解

配置文件位于%ES_HOME%/config/elasticsearch.yml文件中，用Editplus打开它，你便可以进行配置。所有的配置都可以使用环境变量，例如：node.rack: ${RACK_ENV_VAR} 表示环境变量中有一个RACK_ENV_VAR变量。下面列举一下elasticsearch的可配置项：

2016-01-07 12:11:18 538