2015年12月_xuguokun1986

转载 ElasticSearch的Gateway及存储原理

ES里有一个叫做gateway的东西，今天抽空理一下，前面翻译ES的一篇博文叫做“搜索引擎与时间机器”，既然里面谈到了时间机器，就免不了需要穿越时空的的门咯，I guess，也许gateway这名字就是这么来的，其实在ES里面，gateway的主要职责是用来对数据进行长持久化(持久化了之后加上版本信息，不就可以自由的往还于过去未来之间了吗？)，另外，整个集群重启之后可以通过gateway重新恢

2015-12-29 20:39:30 805

转载 Elasticsearch学习笔记

Why Elasticsearch？由于需要提升项目的搜索质量，最近研究了一下Elasticsearch，一款非常优秀的分布式搜索程序。最开始的一些笔记放到github，这里只是归纳总结一下。首先，为什么要使用Elasticsearch？最开始的时候，我们的项目仅仅使用MySQL进行简单的搜索，然后一个不能索引的like语句，直接拉低MySQL的性能。后来，我们曾考虑过sphinx

2015-12-29 20:12:46 300

转载 Spring 中文响应处理

为什么 CharacterEncodingFilter 没有生效1234567891011121314151617 CharacterEncodingFilter org.springframework.web.filter.CharacterEncodingFilter encoding

2015-12-29 19:49:59 436

转载 ElasticSearch学习6_从[FIELDDATA]Data too large错误看FieldData配置

1. 产生Data too large异常今早运行查询时，ES返回了如下报错：{ "error": "... CircuitBreakingException[[FIELDDATA] Data too large, data for [proccessDate] would be larger than limit of [10307921510/9.5gb]]; }]", "

2015-12-24 19:35:19 590

转载 elasticsearch配置小记

基于 elasticsearch 1.4.4 版本.安装方式为RPM安装.所有涉及路径需根据实际情况来设置判断.0x01 内存调整调整ES内存分配有多种方式,建议调整 /etc/sysconfig/elasticsearch 中的设置(还可以直接修改bin下的启动脚本).# Directory where the Elasticsearch binary distributio

2015-12-24 19:34:31 1526

转载 ElasticSearch工作原理、查询及常用插件 | 玩转ELK Stack（1）

本文根据高效运维系列微信群专家群友文章整理而成。欢迎关注“高效运维”公众号，以免费参加「运维讲坛」每月一次的线下交流活动；并抢先赏阅干货满满的各种原创文章（详见文末）。编辑高浩淼（整理）作者简介马永亮马哥Linux运维培训创始人正文各位运维同行朋友们，大家好，非常高兴能有这么个机会与大家一起交流一些技术问题。此前的各位分享达人

2015-12-23 09:10:12 1677

转载 Elasticsearch结合Nginx使用

Elasticsearch是一种先进的，高性能的，可扩展的开源搜索引擎，提供全文搜索和实时分析的结构化和非结构化数据。它的特点是可以使用RESTful API over HTTP，因此很容易融入现代网络架构。由于NGINX具有出色的性能非常高并发率,再加上负载平衡的HTTP流量功能，这是非常适合用作为您扩展到多个Elasticsearch服务器的反向代理负载均衡。

2015-12-23 08:29:30 1194

转载 Kafka 高性能吞吐揭秘

2015-11-09 高磊 TheFortyTwoA high-throughput distributed messaging system.--Apache KafkaKafka作为时下最流行的开源消息系统，被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于RocketMQ等其他常见消息系统，Kafka在保障了大部分功能特性的同

2015-12-23 08:15:25 838

Elasticsearch是一个开源的分布式实时搜索与分析引擎，支持云服务。它是基于Apache Lucene搜索引擎的类库创建的，提供了全文搜索能力、多语言支持、专门的查询语言、支持地理位置服务、基于上下文的搜索建议、自动完成以及搜索片段(snippet)的能力。Elasticsearch支持RESTful的API，可以使用JSON通过HTTP调用它的各种功能，包括搜索、分析与监控。此外，它还为

2015-12-22 14:14:57 8126

原创 window下安装es

windows下安装elasticsearch1.下载elasticsearch,地址：http://www.elasticsearch.org/overview/elkdownloads/2.配置环境变量path，指向elasticsearch的bin3.发布为服务为elasticesarch。打开dos窗口输入：service install elastic

2015-12-21 17:11:51 1599

原创 es小常识1

1、es小常识1-1public Client getTransportClient(){ // 设置client.transport.sniff为true来使客户端去嗅探整个集群的状态，把集群中其它机器的ip地址加到客户端中， // 这样做的好处是一般你不用手动设置集群里所有集群的ip到连接客户端，它会自动帮你添加，并且自动发现新加入集群的机器。

2015-12-21 15:27:08 420

转载 Spark容错机制

引入一般来说，分布式数据集的容错性有两种方式：数据检查点和记录数据的更新。面向大规模数据分析，数据检查点操作成本很高，需要通过数据中心的网络连接在机器之间复制庞大的数据集，而网络带宽往往比内存带宽低得多，同时还需要消耗更多的存储资源。因此，Spark选择记录更新的方式。但是，如果更新粒度太细太多，那么记录更新成本也不低。因此，RDD只支持粗粒度转换，即只记录单个块上执行的单个操作，

2015-12-17 08:41:49 394

转载 Spark算子：RDD基本转换操作(5)–mapPartitions、

mapPartitionsdef mapPartitions[U](f: (Iterator[T]) => Iterator[U], preservesPartitioning: Boolean = false)(implicit arg0: ClassTag[U]): RDD[U]该函数和map函数类似，只不过映射函数的参数由RDD中的每一个元素变成了RDD中每一个分区的迭代器。

2015-12-16 08:46:57 528

转载 spring quartz的常见配置

关于cron表达式：Cron 表达式包括以下 7 个字段：秒分小时月内日期月周内日期年（可选字段）特殊字符Cron 触发器利用一系列特殊字符，如下所示：反斜线（/）字符表示增量值。例如，在秒字段中“5/15”代表从第 5 秒开始，每 15 秒一次。问号（?）字符和字母 L 字符只有在月内日期和周内日期字段中可用。问号表示这个字段不包含具体值。所以，如果指定月内日期，可以

2015-12-15 18:40:49 280

原创 SpringMVC的定时任务的配置

1、在spring-mvc.xml中填写如下内容：xmlns:task="http://www.springframework.org/schema/task" 2、在spring-mvc.xml中填写如下内容：http://www.springframework.org/schema/taskhttp://www.springframework.org/schema/task/sp

2015-12-15 15:32:42 452

转载常见java定时任务

在应用里经常都有用到在后台跑定时任务的需求。举个例子，比如需要在服务后台跑一个定时任务来进行垃圾回收（译者注：个人觉得用定时任务来跑垃圾回收不是很好的例子，从译者接触到的项目来看，比较常见的是用定时任务来进行非实时计算，清除临时数据、文件等）。在本文里，我会给大家介绍3种不同的实现方法：普通thread实现TimerTask实现ScheduledExecut

2015-12-15 15:01:31 290

转载 Spark Streaming 实现思路与模块概述

一、基于 Spark 做 Spark Streaming 的思路Spark Streaming 与 Spark Core 的关系可以用下面的经典部件图来表述：在本节，我们先探讨一下基于 Spark Core 的 RDD API，如何对 streaming data 进行处理。理解下面描述的这个思路非常重要，因为基于这个思路详细展开后，就能够充分理解整个 Spark Stre

2015-12-08 17:45:37 618

原创 MyEclipse之Could not create the view: An unexpected exception was thrown

问题：电脑突然断电，myeclipse非正常关闭，“Package Explorer”非正常显示，出现错误“Could not create the view: An unexpected exception was thrown.”。但是项目中的文件可以通过命令查看。解决方式：关闭myeclipse-- 删除文件“.metadata/.plugins/org.

2015-12-07 10:56:11 315

xuguokun1986的博客