- 博客(22)
- 资源 (11)
- 收藏
- 关注
原创 Kafka设计原理解析--broker设计
Kafka设计原理解析--broker设计背景谁要接收数据?设计演变乱乱乱!!统筹全局-zk管理当老大-controller竞争消息放我这队列-partition leader接收到数据之后怎么存?存储结构通过id查数据数据丢了怎么办?还能不能再快点?背景上一章简单讲了下producer设计的大体思路,当数据被producer之后,就是broker的主要工作了,broker是kafka里面的核心,主要是负责了消息的接收,存储,以及跟consumer的交互。我们可以想一下,在设计broker的时候,面临哪
2020-12-25 08:20:12 533 3
原创 Kafka设计原理解析--producer发送
Kafka设计原理解析--producer发送背景kafka是什么?kafka系统架构图producer生产消息发到哪个队列?发送到哪个机器?如何发送?怎么知道是否发送成功总结参考:背景kafka在实际中会经常的使用,之前只是对于api的使用方式有所了解,但是对于其中的细节以及原理不是很清楚,会造成一种知其然,不知其所以然的后果,对于个人的成长提升不利,因此希望系统的对于kafka内部的设计细节做一次学习梳理kafka是什么?kafka比较官方的定义是一种高吞吐量的分布式发布订阅消息系统,主要用来做
2020-12-23 16:37:20 398 3
翻译 IRGAN:大一统信息检索模型的博弈竞争
主要思想:把gan用在信息检索上面,一个生成模型,一个判别对抗模型摘要统一了两大学术派理论:计算一个文档跟query的相关性,辨别query跟文档对的相关性;提出了一个最大最小理论来优化这两个模型,判别模型从标记数据以及未标记数据挖掘数据来指导生成模型;生成模型作为判别模型的攻击者,生成比较复杂的例子数据,用对抗的方式最小化判别模型;得到的结论有1、生成模型从判别模型的信号里面学会了调整相
2017-09-24 21:46:33 3514
原创 【elastic-job】elastic-job部署以及简单例子
一、elastic-job是什么elastic-job是当当开发的基于qutarz以及zookeeper封装的作业调度工具,主要有两个大框架,一个是elastic-job lite另外一个是elastic-job cloud,其中qutarz是一个开源的作业调度工具,zookeeper是分布式调度工具,这两者结合搭建了elastic-job-lite,这是一个无中心节点的调度,而elastic
2016-12-15 21:10:04 15934
原创 Zookeeper配置以及学习
一、zookeeper下载zookeeper下载可以直接去官网进行下载 https://zookeeper.apache.org/releases.html ,可以选择最新版本进行下载如果有打不开的情况,可以选择csdn下载,http://download.csdn.net/detail/molong1208/9712643二、单机模式在windows环境下的时候,将con
2016-12-15 21:04:34 1877
原创 【Elasticsearch】集群管理
8.1 Elasticsearch时光机Elasticsearch的快照,防止出错,灾备8.1.1 创建快照存储库创建快照之前必须建一个存储库,有如下几个方面,name,type,settings,其中type是存储库的类型,分为共享文件系统中的存储库FS以及通过url访问的只读存储库url,给出了创建文件系统存储库的命令以及常用的一些操作命令8.1.2 创建快照给出了创建快照
2016-02-29 17:00:37 1211
原创 tomcat-dbcp数据库连接池配置以及使用时候的一些坑
一、数据库连接池开发的时候经常会需要对数据库进行一些操作,比如说常见的增删改查之类的,当数据量小的时候,可以直接进行操作,但是当数据量增多的时候,每一次连接以及释放数据库都会耗费一定的时间,这个时候,可以采用数据库连接池来保持数据库的链接,减少连接数据库对程序带来的开销,并且可以减少数据库的压力,那么数据库链接池是一个什么样的东西呢?顾名思义,它是一个池子,池子里放的是对数据库的链接,打个比方
2016-02-25 19:40:20 3846
原创 【Elasticsearch】打分策略详解与explain手把手计算
Elasticsearch打分公式的计算,ES的打分与Lucene的不同之处,如何跟explain的计算对照上,手把手教你如何手算explain分数
2016-02-02 16:58:27 35617 11
原创 【Elasticsearch】服务器开发 超越全文检索
讲述了ES里面除了基本的搜索之外还提供的其他的一些功能,例如suggest功能,还有地理位置查询的功能,可以自定义一些地理位置形状,可以实现距离原点为多少的搜索,并且讲述了如何进行分页,但是需要注意的是此处使用的scroll有一定的时效性,如果超过时效会出现一些错误
2016-01-28 16:56:33 1923
原创 Elasticsearch过滤与聚合的先后顺序java实现
Elasticsearch的聚合结果是先过滤或者搜索后聚合,那么如果我们想要先聚合,然后对结果进行再一次的过滤或者搜索应该如何实现呢,在此给出简单的java实现demo
2016-01-26 21:10:37 60558 8
原创 使用awk进行简单文件处理对文件分割求平均
一、文件格式线上有这么一份文件需要做一个统计的信息格式类似如下:不同为:;不同为:;不同为:;不同为:;不同为:;不同为:;不同为:;不同为:;无用个数为:13 总个数为:13 无用比例为:1;无用个数为:16 总个数为:16 无用比例为:1;无用个数为:21 总个数为:21 无用比例为:1;无用个数为:18 总个数为:18 无用比例为:1;无用个数为:20 总
2016-01-26 15:32:25 854
原创 centos下安装jdk环境
一、为什么要写网上一搜一堆,但是有时候没有网络的时候,还是师傅告诉的这个方法比较好用二、查看是否安装jdk输入命令yum list installed |grep java如果有安装的话,输入命令yum -y remove java-1.7.0-openjdk*如果没有的话,直接进入到下一步三、安装在连网的状态下可以使用yum install进行op
2016-01-18 17:07:12 1083
原创 Elasticsearch java api 基本搜索部分详解
一、所使用版本的介绍使用的是elasticsearch2.1.0版本,在此只是简单介绍搜索部分的api使用二、简单的搜索使用api的时候,基本上可以将DSL搜索的所有情况均写出来,在此给出一个最简单搜索的全部的过程以及代码,之后将对不同的搜索只是针对函数进行介绍(1)DSL搜索对于最简单的DSL搜索,对一个词进行搜索使用url直接进行通信,例如,如果对于一个字段,搜索具体的一个
2016-01-13 17:31:52 33873 3
原创 Elasticsearch服务器 更好的搜索笔记
5.1 lucene评分简介简介lucene的评分体系tf/itf5.1.1当文档被匹配时介绍lucene中文档被匹配的一些因素5.1.2默认评分公式介绍lucene打分的公式5.1.3相关性的意义lucene的打分机制不是万能的,需要根据自己的需求去具体的打分,排序5.2 elasticsearch的脚本功能脚本的相关属性script包含实际的脚本代码
2016-01-11 23:16:07 1236
原创 Elasticsearch服务器 扩展索引结构
四、扩展索引结构:4.1索引树形结构看的不是太懂,使用analyze命令,查看path是如何分词的,所有的结构是扁平的,无分级4.2索引非扁平数据:4.2.1 数据数据为非扁平结构的,举例“书”有各种属性,如作者名字分为lastname以及firstname,即json里面有数组4.2.2对象对上述的书结构进行分析,根对象是book,子对象还有嵌套的
2016-01-10 23:35:34 1472
原创 Elasticsearch服务器 搜索笔记
Elasticsearch服务器开发第二版中文第三章查询的一些写法一级es所支持的一些特性,排序,高亮,符合查询等
2016-01-10 12:31:16 1389
原创 Elasticsearch源码加载到eclipse调试
elasticsearch源码加载到eclipse中,在eclipse中可以进行调试,图文并茂
2016-01-06 19:54:38 7277 9
原创 mysql远程机器导入导出数据 锁表不锁表 部分数据或全部
最近在使用mysql的时候,经常要遇到导出或者导入数据的情况,对于一些简单的,可以直接使用navicate直接导出结果,但是有很多时候,由于机器在远程端,并且是线上机器的情况下,在跳转一次跳转还链接不到mysql的时候,navicate就不能使用这种方法去导出了,搜索了网上的一些文章,大概将mysql导入导出的情况做个总结,如下:一、导出数据库mysqldump -h 127.0.0.1
2015-12-09 16:00:51 7104
不使用第三个变量进行交换的三种方式以及隐藏隐患
2014-04-04
ARM初级入门(1)
2013-07-19
Qt发布遇到的图片文字常见问题以及解决方法
2013-05-31
viterbi译码算法c++实现以及程序所对应的转移图
2013-05-16
viterbi译码c++实现源代码
2013-05-16
matcom下生成的函数经过VS环境封装在Qt下调用
2013-04-27
Qt和matcom混合编程(1)
2013-04-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人