自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

翻译 IRGAN:大一统信息检索模型的博弈竞争

主要思想:把gan用在信息检索上面,一个生成模型,一个判别对抗模型摘要统一了两大学术派理论:计算一个文档跟query的相关性,辨别query跟文档对的相关性;提出了一个最大最小理论来优化这两个模型,判别模型从标记数据以及未标记数据挖掘数据来指导生成模型;生成模型作为判别模型的攻击者,生成比较复杂的例子数据,用对抗的方式最小化判别模型;得到的结论有1、生成模型从判别模型的信号里面学会了调整相

2017-09-24 21:46:33 2426

原创 【elastic-job】elastic-job部署以及简单例子

一、elastic-job是什么elastic-job是当当开发的基于qutarz以及zookeeper封装的作业调度工具,主要有两个大框架,一个是elastic-job lite另外一个是elastic-job cloud,其中qutarz是一个开源的作业调度工具,zookeeper是分布式调度工具,这两者结合搭建了elastic-job-lite,这是一个无中心节点的调度,而elastic

2016-12-15 21:10:04 14690

原创 Zookeeper配置以及学习

一、zookeeper下载zookeeper下载可以直接去官网进行下载 https://zookeeper.apache.org/releases.html ,可以选择最新版本进行下载如果有打不开的情况,可以选择csdn下载,http://download.csdn.net/detail/molong1208/9712643二、单机模式在windows环境下的时候,将con

2016-12-15 21:04:34 1680

原创 lombok的安装以及使用

eclipse下面安装lombok插件

2016-12-15 11:50:32 2709

原创 数据从mysql迁移到hbase的一些思考及设计

mysql数据库中联合索引在迁移hbase的时候如何进行设计

2016-11-27 10:22:43 4809

原创 【Elasticsearch】集群管理

8.1 Elasticsearch时光机Elasticsearch的快照,防止出错,灾备8.1.1 创建快照存储库创建快照之前必须建一个存储库,有如下几个方面,name,type,settings,其中type是存储库的类型,分为共享文件系统中的存储库FS以及通过url访问的只读存储库url,给出了创建文件系统存储库的命令以及常用的一些操作命令8.1.2 创建快照给出了创建快照

2016-02-29 17:00:37 988

原创 【Elasticsearch】深入Elasticsearch集群

Elasticsearch服务器开发第七章,关于集群优化的一些建议

2016-02-26 17:17:13 1065

原创 tomcat-dbcp数据库连接池配置以及使用时候的一些坑

一、数据库连接池开发的时候经常会需要对数据库进行一些操作,比如说常见的增删改查之类的,当数据量小的时候,可以直接进行操作,但是当数据量增多的时候,每一次连接以及释放数据库都会耗费一定的时间,这个时候,可以采用数据库连接池来保持数据库的链接,减少连接数据库对程序带来的开销,并且可以减少数据库的压力,那么数据库链接池是一个什么样的东西呢?顾名思义,它是一个池子,池子里放的是对数据库的链接,打个比方

2016-02-25 19:40:20 3433

原创 【Elasticsearch】打分策略详解与explain手把手计算

Elasticsearch打分公式的计算,ES的打分与Lucene的不同之处,如何跟explain的计算对照上,手把手教你如何手算explain分数

2016-02-02 16:58:27 28169 10

原创 【Elasticsearch】服务器开发 超越全文检索

讲述了ES里面除了基本的搜索之外还提供的其他的一些功能,例如suggest功能,还有地理位置查询的功能,可以自定义一些地理位置形状,可以实现距离原点为多少的搜索,并且讲述了如何进行分页,但是需要注意的是此处使用的scroll有一定的时效性,如果超过时效会出现一些错误

2016-01-28 16:56:33 1677

原创 Elasticsearch过滤与聚合的先后顺序java实现

Elasticsearch的聚合结果是先过滤或者搜索后聚合,那么如果我们想要先聚合,然后对结果进行再一次的过滤或者搜索应该如何实现呢,在此给出简单的java实现demo

2016-01-26 21:10:37 52227 7

原创 使用awk进行简单文件处理对文件分割求平均

一、文件格式线上有这么一份文件需要做一个统计的信息格式类似如下:不同为:;不同为:;不同为:;不同为:;不同为:;不同为:;不同为:;不同为:;无用个数为:13 总个数为:13 无用比例为:1;无用个数为:16 总个数为:16 无用比例为:1;无用个数为:21 总个数为:21 无用比例为:1;无用个数为:18 总个数为:18 无用比例为:1;无用个数为:20 总

2016-01-26 15:32:25 592

原创 centos下安装jdk环境

一、为什么要写网上一搜一堆,但是有时候没有网络的时候,还是师傅告诉的这个方法比较好用二、查看是否安装jdk输入命令yum list installed |grep java如果有安装的话,输入命令yum -y remove java-1.7.0-openjdk*如果没有的话,直接进入到下一步三、安装在连网的状态下可以使用yum install进行op

2016-01-18 17:07:12 934

原创 Elasticsearch java api 基本搜索部分详解

一、所使用版本的介绍使用的是elasticsearch2.1.0版本,在此只是简单介绍搜索部分的api使用二、简单的搜索使用api的时候,基本上可以将DSL搜索的所有情况均写出来,在此给出一个最简单搜索的全部的过程以及代码,之后将对不同的搜索只是针对函数进行介绍(1)DSL搜索对于最简单的DSL搜索,对一个词进行搜索使用url直接进行通信,例如,如果对于一个字段,搜索具体的一个

2016-01-13 17:31:52 30896 3

原创 Elasticsearch服务器 更好的搜索笔记

5.1 lucene评分简介简介lucene的评分体系tf/itf5.1.1当文档被匹配时介绍lucene中文档被匹配的一些因素5.1.2默认评分公式介绍lucene打分的公式5.1.3相关性的意义lucene的打分机制不是万能的,需要根据自己的需求去具体的打分,排序5.2 elasticsearch的脚本功能脚本的相关属性script包含实际的脚本代码

2016-01-11 23:16:07 1108

原创 Elasticsearch服务器 扩展索引结构

四、扩展索引结构:4.1索引树形结构看的不是太懂,使用analyze命令,查看path是如何分词的,所有的结构是扁平的,无分级4.2索引非扁平数据:4.2.1 数据数据为非扁平结构的,举例“书”有各种属性,如作者名字分为lastname以及firstname,即json里面有数组4.2.2对象对上述的书结构进行分析,根对象是book,子对象还有嵌套的

2016-01-10 23:35:34 1290

原创 Elasticsearch服务器 搜索笔记

Elasticsearch服务器开发第二版中文第三章查询的一些写法一级es所支持的一些特性,排序,高亮,符合查询等

2016-01-10 12:31:16 1272

原创 Elasticsearch源码加载到eclipse调试

elasticsearch源码加载到eclipse中,在eclipse中可以进行调试,图文并茂

2016-01-06 19:54:38 6760 8

原创 mysql远程机器导入导出数据 锁表不锁表 部分数据或全部

最近在使用mysql的时候,经常要遇到导出或者导入数据的情况,对于一些简单的,可以直接使用navicate直接导出结果,但是有很多时候,由于机器在远程端,并且是线上机器的情况下,在跳转一次跳转还链接不到mysql的时候,navicate就不能使用这种方法去导出了,搜索了网上的一些文章,大概将mysql导入导出的情况做个总结,如下:一、导出数据库mysqldump -h 127.0.0.1

2015-12-09 16:00:51 6099

原创 二叉树的建立以及六种递归非递归遍历

最近在看数据结构,在看到二叉树的这一章,发现书上仅仅写c

2014-05-06 18:14:57 779

提示
确定要删除当前文章?
取消 删除