2016年03月_xiao_jun_0820

11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创使用 dynamic_templates自定义动态索引

如果你想在运行时的增加新的字段，你可能会开启动态索引。虽然有时动态映射的规则显得不那么智能，幸运的是我们可以通过设置来自定义这些规则。当 Elasticsearch 遇到一个新的字符串字段时，它会检测这个字段是否包含一个可识别的日期，比如 2014-01-01。如果它看起来像一个日期，这个字段会被作为 date 类型添加，否则，它会被作为 string 类型添加。有些时候这个规则可能导

2016-03-29 18:16:59 6940

原创 elasticsearch实现搜索拼音然后高亮内容

es拼音插件https://github.com/medcl/elasticsearch-analysis-pinyin/tree/v1.6.0，具体用法此处不介绍，看readme现在要实现一个搜场馆的功能，需要按场馆名称首字母缩写也能搜索出场馆，还必须要高亮显示首拼对应的汉字部分。analysis可定义如下： "analysis": { "tokenizer

2016-03-28 11:11:17 9753 7

转载 JMS详细说明与应用（ACTIVEMQ）

转自:http://langgufu.iteye.com/blog/21573991. 背景当前，CORBA、DCOM、RMI等RPC中间件技术已广泛应用于各个领域。但是面对规模和复杂度都越来越高的分布式系统，这些技术也显示出其局限性：（1）同步通信：客户发出调用后，必须等待服务对象完成处理并返回结果后才能继续执行；（2）客户和服务对象的生命周期紧

2016-03-25 18:08:49 1865

转载理解Java虚拟机体系结构

转自:http://www.cnblogs.com/lao-liang/p/5110710.html1 概述　　众所周知，Java支持平台无关性、安全性和网络移动性。而Java平台由Java虚拟机和Java核心类所构成，它为纯Java程序提供了统一的编程接口，而不管下层操作系统是什么。正是得益于Java虚拟机，它号称的“一次编译，到处运行”才能有所保障。1.

2016-03-25 18:07:04 697

转载 [Elasticsearch] 邻近匹配 (三) - 性能，关联单词查询以及Shingles

转自：http://blog.csdn.net/dm_vincent/article/details/41978363好文啊，一看就懂了shingle的意思。。目录(?)[+]提高性能短语和邻近度查询比简单的match查询在性能上更昂贵。match查询只是查看词条是否存在于倒排索引(Inverted Index)中，而match_phrase查询

2016-03-23 20:02:16 688

原创好基友的博客，顶一下，备份一下

http://logos.name

2016-03-21 12:10:48 754

原创 maven cargo插件使用

org.codehaus.cargo cargo-maven2-plugin 1.4.17 ${cargo.containerId}

2016-03-18 18:16:44 1969

转载 How-to: Install Apache Zeppelin on CDH

http://blog.cloudera.com/blog/2015/07/how-to-install-apache-zeppelin-on-cdh/Our thanks to Karthik Vadla and Abhi Basu, Big Data Solutions engineers at Intel, for permission to re-publish

2016-03-18 15:38:37 1810

转载 Spark生态顶级项目汇总

现在Apache Spark已形成一个丰富的生态系统，包括官方的和第三方开发的组件或工具。后面主要给出5个使用广泛的第三方项目。Spark官方构建了一个非常紧凑的生态系统组件，提供各种处理能力。下面是Spark官方给出的生态系统组件（引自Spark官方文档）。Spark DataFrames：列式存储的分布式数据组织，类似于关系型数据表。Spark SQL：可以执行S

2016-03-18 14:13:12 1694

原创图片降维处理

彩色图片一个像素是有RGB3色，就算用int保存的话，一个Int 4个字节，也要12个字节，需要转换成单色灰色，这样就只需要一个数字来表示颜色了，从而降低了维度，并节约了内存import java.awt.image.BufferedImageimport java.io.Fileimport javax.imageio.ImageIOimport org.apache.spark

2016-03-18 11:59:37 7670

原创给索引添加ttl属性自动过期删除

首先需要将索引的ttl属性打开，默认是关闭的PUT /music/song/_mapping { "song" : { "_ttl" : { "enabled" : true } }}也可以设置默认ttl时间：PUT /music/song/_mapping { "song" : { "_ttl" : { "en

2016-03-17 16:55:42 12839 1

转载使用朴素贝叶斯算法，通过用户安装的APP列表来推测用户的性别

转自http://blog.csdn.net/cnweike/article/details/47167411目录(?)[+]从本质上来说，这是一个分类问题，类似于通过邮件内容来推测垃圾邮件，通过用户的相关信息来推测用户是否会拖欠贷款，而通过用户的APP安装列表来推测用户的性别也是一个类似的问题。对于贝叶斯算法来说，我们首先需要一个训练集数据，这个训练集

2016-03-16 18:17:46 2454

转载通过 git bash 配置和使用 github

如果是github 新手，那么先去自行创建账号and 仓库，下面仅仅是解释如何用 git 命令行配置 github1. 本地配置打开 git 客户端创建 ssh key, 键入指令ssh-keygen -t rsa -C "zhukejin@zhukejin.com"这里-C后面是邮箱地址，换成自己的邮箱然后配置个人信息，键入指令git config

2016-03-09 21:27:07 6271 2

转载 Centos安装（更新）git（亲测有效）

Centos 6.5默认安装的是git 1.7.X 版本，使用过程中会有一些奇怪的问题，对于用户名、密码支持不是很友好。将Centos6.5上的git更新到2.0.5，方法如下：1.安装编译git时需要的包# yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel# yum in

2016-03-09 20:48:08 2331

转载 centos用 yum 方式安装 nodejs 和 npm

要通过 yum 来安装 nodejs 和 npm 需要先给 yum 添加 epel 源，添加方法在 centos 添加epel和remi源中##添加 epel 源64位:rpm -ivh http://download.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm32位

2016-03-09 20:01:00 54284 3

转载如何建立完整可用的安全大数据平台

如何建立完整可用的安全大数据平台2016-03-07 江金陵大数据杂谈“ 要建立一个大数据系统，我们需要从数据流的源头跟踪到最后有价值的输出，并在现有的Hadoop和大数据生态圈内根据实际需求挑选并整合各部分合适的组件来构建一个能够支撑多种查询和分析功能的系统平台。这其中既包括了对数据存储的选择，也涵盖了数据线上和线下处理分离等方面的思考和权衡。此外，没有任何一个引入大数据解决方

2016-03-09 11:38:30 6506