2016年05月_準提童子

原创 ElasticSearch（六）--映射和分析

映射mapping机制用于进行字段类型确认，将每个字段匹配为一种确定的数据类型(string, boolean, date)；分析analysis机制用于进行全文文本Full Text的分词，以建立供搜索用的倒排索引Inverted index．上边做个总结，后续学习之后就明白了．先看一个查询现象：在索引中有12个tweets，只有一个包含日期2014-09-15，但是我们看看下面查询

2016-05-22 22:55:44 14754

前边的学习，我们已经可以将ElasticSearch作为一个分布式存储系统使用，但是ES的真正强大之处在于可以在混乱的数据中找出有意义的信息．每个文档里的字段都会被索引并被查询，关于搜索Search，可以做：结构化查询：比如在gender性别和年龄age这样的字段上使用结构化查询，在join_date这样的字段上使用排序．全文查询：可以使用所有字段来匹配关键字，然后按照关联性relevance排序返回结果．也可以两者结合使用．搜索都是开箱即用的，为了深入了解ES的潜力，需要三个概念：映射Mapp

2016-05-14 19:11:12 2561

原创 ElasticSearch（四）--分布式文档存储

第三节学习了文档的检索，更新，删除，索引的操作方法，本节主要学习这些操作的原理，有利于深入的了解ElasticSearch．1. 路由文档每个文档都会存储在单独的一个分片上，那么在检索文档的时候，如何知道文档存储在哪个分片上呢？当创建一个新文档时，如何确定它是要存储到哪一个分片上呢？根据一个简单的算法：shard = hash(routing) % number_of_primary_shardsrouting是一个字符串，默认是_id也可以自定义，hash哈稀罕数，number_of

2016-05-14 19:08:52 2051

原创 ElasticSearch（三）--文档

面向对象编程语言流行的原因之一是，可以用对象表示和处理现实生活中那些有潜在关系和复杂结构的实体．到目前为止，这种方式还不错．当我们存储这些实体时问题来了，以行和列的形式将数据存储在关系数据库中，相当于使用电子表格，这种方式使对象的灵活性不复存在．如何能以对象的方式存储数据呢？使程序专注于使用数据，而不是围绕行列的表格建模．对象Object是一种语言相关，记录在内存中的数据结构．为了在网

2016-05-12 22:32:23 12836

原创 ElasticSearch（二）--分布式集群

这一章节主要介绍，ElasticSearch在分布式环境下的工作机制，主要包括：术语解释：集群cluster，节点node，分片shard；ES的扩展机制，以及它如何处理故障．ES用于构建高可用和可扩展的系统，扩展的方式有两种：纵向扩展vertical scale or scaling up：购买更好的服务器横向扩展horizontal scale or scaling out

2016-05-12 15:00:16 3121

原创 ElasticSearch（一）--入门

安装好ElasticSearch及其Kibana，Marvel，Sense插件之后，就可以简单的使用ES了．使用ES，是基于HTTP协议以及JSON为数据交互格式的．使用Linux终端命令curl对ES进行HTTP请求，格式：curl -X '://:/?' -d ''其中，VERB，是HTTP请求的方法，有GET，POST，PUT，HEAD，DELETE．PROTOC

2016-05-11 23:31:58 2268

原创 Marvel的安装与调试

Marvel是针对ElasticSearch的监控工具，安装需要Kibana的支持，需先安装Kibana工具．前提是安装了ElasticSearch：ElasticSearch安装与调试（Linux环境）Kibana安装见：Kibana的安装与调试安装第一步，安装到ElasticSearch中的路径下：bin/plugin install licensebin/plu

2016-05-09 20:42:09 1578

原创 Kibana的安装与调试

Kibana是用于ElasticSearch的分析的可视化工具，通过web的方式呈现．下载：kibana地址 https://www.elastic.co/products/kibana文件kibana-4.5.0-linux-x86.tar.gz将文件解压到/opt/software/bigdata文件夹下tar -zxvf kibana-4.5.0-linux-x86.ta

2016-05-09 19:12:13 9938 2

原创 ElasticSearch安装与试用（Linux环境）

ElasticSearch是一个搜索引擎，用于大数据中．安装首先，下载https://www.elastic.co/downloads/elasticsearch文件elasticsearch-2.3.2.zip，将文件放置在/opt/software/bigdata目录下解压文件：unzip elasticsearch-2.3.2.zip注意不同的压缩文件，使用不同的

2016-05-09 11:02:52 1993

原创 Linux系统下搭建Java环境+eclipse

第一步：首先下载jdk：http://www.oracle.com/technetwork/java/javase/downloads/index.html在ubuntu下，自己安装的软件一般放在/opt这个文件夹下本文放在/opt/software/java路径下使用 sudo mkdir software命令创建文件夹下载文件为jdk-8u91-linux-i586.tar

2016-05-09 09:32:05 910

原创 Ubuntu 安装gnome桌面软件

Ubuntu系统默认的是Unity桌面软件，这个软件不如Gnome使用灵活方便，安装Gnome的方法如下： sudo add-apt-repository ppa:gnome3-team/gnome3 sudo apt-get update sudo apt-get dist-upgrade sudo apt-get install gnome-themes-standard ubu

2016-05-09 00:06:14 964

原创 Web开发（三）--MVC设计模式

在J2EE中，有很多组件，这些组件针对不同的功能，通过选择合适的组件，可以构建开发项目，简化开发。一些常用的组件：beanutils：对java bean进行操作dbcp：数据库连接池dbutils：对数据库操作fileupload：文件的上传与下载logging：日志hibernate：面向对象的方式对数据表进行操作jbpm：业务流程管理 Java Business Process Management

2016-05-01 18:13:55 1102

准提童子的专栏