尹忠政的博客

学无止境

自定义博客皮肤

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

MapReduce实现分词和倒排索引(算法TF-IDF)

MapReduce实现分词和倒排索引(算法TF-IDF) 介绍IFDF IF:词频(单词在文档中出现的次数/文档中的总词数) DF:逆向文件频率(log(文档总数/出现该单词的文件数量)),log归一化,避免了一些常用词如 的,了等词的评分 IF/DF能表明单词在索引(文档库)的重要程度 ...

2019-06-02 16:25:24

阅读数 58

评论数 0

hadoop搭建(centOS 7 hadoop 2.7.2)

#hadoop搭建(centOS 7 hadoop 2.7.2) 伪分布式版本 修改主机名 新增用户 groupadd hadoop useradd hd -g hadoop -p xxxxxxxx SSH cd ~ cd .ssh/ ssh-...

2019-04-09 16:46:50

阅读数 23

评论数 0

Canal的坑你遇到了多少,全在这儿呢

Canal的坑你遇到了多少,全在这里呢 修改mysql字符集 #在[client]段增加下面代码  default-character-set=utf8 #在[mysql]段增加下面的代码  character...

2019-03-08 00:19:23

阅读数 1618

评论数 5

Linux(CentOs7)Mysql(5.6+)的安装的坑

Linux(CentOs7)Mysql的安装 在整canal的时候折腾 了半天,最后还是5.5的mysql做了升级,摊牌了。。。 卸载之前的mysql 1.查看mysql的rpm包 rpm -qa | grep -i mysql 2.停止mysql服务 service mysql stop 3...

2019-03-08 00:18:14

阅读数 69

评论数 0

elasticsearch及相关插件安装

elasticsearch相关安装 elasticsearch安装 下载es包 新建用户 groupadd es useradd es -g es -p xxx chown -R es:es 你的es目录 su es 如果出现用户创建不成功 mkd...

2019-03-05 23:29:16

阅读数 64

评论数 0

elasticsearch-部分匹配

elasticsearch-部分匹配 参考文章: https://www.elastic.co/guide/cn/elasticsearch/guide/current/scoring-theory.html 短语匹配 一个被认定为和短语 quick brown fox 匹配的文档,必须满足以下这...

2019-03-05 11:34:26

阅读数 260

评论数 0

elasticsearch你懂的,为了搜索

elasticsearch你懂的,为了搜索 文章目录elasticsearch你懂的,为了搜索elasticsearch搜索中两种操作精确查询term 基于词项的查询精确相等返回查询is null and is not null缓存全文搜索提高精度查询组合控制精度bool和match提高权重搜索文...

2019-03-03 22:15:49

阅读数 34

评论数 0

elasticsearch内部原理

elasticsearch内部原理 参考文章 https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html elasticsearch的近实时搜索 此项在索引文档中出现的统计表 Term Doc 1 Doc 2...

2019-03-03 13:05:25

阅读数 43

评论数 0

elasticsearch-基础篇

elasticsearch学习-基础篇 以下内容全部是来自https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html 乐观并发控制 通过version字段来解决更新丢失的问题 PUT /es_test/employe...

2019-03-02 22:02:31

阅读数 94

评论数 0

nio-深入理解Selector

nio-深入理解Selector 概述 Selector提供了询问注册在其上的所有Channel是够已经准备好执行I/O操作的能力。 假如你设计,如何实现Channel托管? 通过生产者/消费者的思想或者说是wait/notify的思路。首先需要集中管理Socket对象,分配一个或者多个线程去处...

2019-01-21 21:52:11

阅读数 51

评论数 0

nio-很详细很深入的Buffer笔记

nio-Buffer笔记 文章目录nio-Buffer笔记Buffer属性ByteBuffer(重要)基本数据类型字节字节顺序(字节在内存中保存的顺序)ByteOrderByteBuffer.order(ByteOrder order)直接缓冲区(DirectBuffer)视图缓冲区数据元素视图总...

2019-01-17 17:33:54

阅读数 73

评论数 0

IO-nio原生实现聊天室

IO-nio原生实现聊天室 概述 公司使用了netty框架做了一个在线通讯的基础框架,客户需要在线同同事进行交流,在这里我通过原生NIO api做了一个简易的聊天框架。中间遇到了很多问题,好在最后都解决了。在这里做一次记录,望共勉。 调用图 调用顺序 注意:Selector只能管理非阻塞的Ch...

2019-01-15 21:58:57

阅读数 96

评论数 0

IO-BIO聊天室升级版

IO-BIOl聊天室升级版 存在的问题 当处理线程池达到最大线程的时候,那么后面的客户端将无法发送消息,这个是致命的。 新思路 该架构的优点 解决了之前版本在线程池达到最大线程数的时候,服务端将不能在处理新加入的客户端,除非客户端掉线,线程才有机会去处理。 该版本支持大规模的客户端在线服务。...

2019-01-13 17:19:31

阅读数 61

评论数 0

IO-BIO实现聊天室

IO-BIO实现聊天室(Socket全双工) 概述 本次实现的是一个聊天室,使用的是TCP/IP协议,使用自定义传输协议。多个客户端连接上服务端,客户端发送消息到服务端,服务端将客户端加入到客户端队列,通过loop队列,向所有的客户端转发消息。此处转发为同步转发,意味着先加入的客户端将优先收到消息...

2019-01-12 21:26:45

阅读数 176

评论数 0

dubbo分布式项目架构组建-rxcq

分布式项目rxcq 架子 闲聊分布式 分布式架构,我的理解是,大的逻辑是将应用按照模块进行拆分,如果某个模块的某个点热度比较高,可以考虑将此功能拆出来,单独部提高吞吐量 分布式架构实现了业务和api接口的分离,通过dubbo实现RPC通信,API不在参与具体业务。 3.通过使用消息队列组建来...

2019-01-09 16:27:32

阅读数 77

评论数 0

Dubbo源码解析-bean的创建和服务暴露

Dubbo源码解析-bean的创建和服务暴露 项目中使用了dubbo有一段时间了,以前公司项目是ssm架构的单体应用,目前由于项目模块不断增长,开发迭代需要加快的前提下,参与了公司的项目改造,在dubbo和springCloud的权衡后还是选择了dubbo。 dubbo bean加载过程 d...

2019-01-06 12:11:23

阅读数 80

评论数 0

java并发-CountDownLatch和CyclicBarrier源码解析

CountDownLatch和CyclicBarrier 在看Curator的时候,看到了分布式屏障的设计,所以回头仔细看看Jdk的CyclicBarrier实现思路。这里CountDownLatch和CyclicBarrier的作用有点类似,就一并分析了。 CountDownLatch 特...

2019-01-03 21:59:03

阅读数 77

评论数 0

Zookeeper-针对比较重要的API内容解析

Zookeeper-针对比较重要的API内容解析 version Zookeeper对ZNode进行事务(可以对数据造成更改的操作)操作时,采用CAS(Compare And Swap)无锁机制来进行数据交换。 CAS无锁机制相比锁机制具有更改的性能(线程无序等待,减少了线程切换),但是会造成A...

2019-01-02 21:01:50

阅读数 43

评论数 0

Zookeeper原生API--令人费解的bug

Zookeeper原生API bug 问题 Zookeeper客户端在创建远程连接的时候,不会抛出超时异常 查看源码 connectTimeout = sessionTimeout / hostProvider.size();hostProvider是Zookeeper集群元素对象,size代表...

2019-01-02 08:37:20

阅读数 130

评论数 0

分布式-传统事务理解心得

文章目录分布式-事务理解ACID隔离级别针对 隔离级别 提高数据操作的吞吐量[GitHub主页](https://github.com/yinzhongzheng/study) 分布式-事务理解 ACID 原子性(AtomicAtomicity) 原子性,表示最小执行单元,要么全执行,要么全...

2018-12-26 08:36:47

阅读数 61

评论数 0

提示
确定要删除当前文章?
取消 删除