中间件
介绍常用中间件。 redis、mongo、es、zk、mq等
xuyilin3310
这个作者很懒,什么都没留下…
展开
-
(七)lucene部分理解
简介Lucene是apache软件基金会4 jakarta项目组的一个子项目,是一个开放源代码的全文检索引擎工具包。Lucene是一个全文搜索工具包,不能直接使用,开发人员可以用来在目标系统中实现全文检索的功能,或者是以此为基础建立起完整的全文检索引擎。lucene名词解释 原始数据 原始的数据,它可以是网页上的html,数据库里读出的数据,也可以是一句话。 总之需要被lucene...原创 2019-07-05 16:01:14 · 153 阅读 · 0 评论 -
(六)spring-data-elasticseach操作es
简介官方文档地址:https://docs.spring.io/spring-data/elasticsearch/docs/current/reference/html/spring-data-elasticseach提供对es的高层次抽象,用于存储、查询、排序、分片操作。集成添加依赖 <dependency> <groupId>org.spr...原创 2019-07-03 17:07:23 · 581 阅读 · 0 评论 -
(五)使用IK分词器、扩展ik词库和停词库
使用IK分词器集成ik分词器https://mp.csdn.net/postedit/93602713 实体类PosEntity /** 省略了getter、setter*/class PosEntity{ private Integer posId; private String posName; private String posAddress; } 实体类...原创 2019-07-03 16:04:45 · 1688 阅读 · 0 评论 -
(四)通过TransportClient操作es
准备添加依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-elasticsearch</artifactId> </dependency> <d...原创 2019-07-03 16:04:12 · 4312 阅读 · 0 评论 -
(三)elasticsearch的简单rest操作
简介Es提供易理解、功能强大的rest api,用以用户与集群的交互。可以用作以下操作:检查集群、节点、索引的健康、状态、统计 执行index的CRUD操作和搜索操作。 执行高级查询。例如paging, sorting, filtering, scripting, aggregations等。准备本文通过kibana操作,需要提前运行es集群和kibana。访问Kibana地址...原创 2019-07-03 10:44:13 · 312 阅读 · 0 评论 -
(二)Kibana安装及IK分词器集成
kibana简介Kibana是一个开源的分析和可视化平台,设计用于和Elasticsearch一起工作,由java开发的web程序。可用于搜索查询、与es做交互、执行数据分析、提供数据可视化等功能。你可以轻松地执行高级数据分析,并且以各种图标、表格和地图的形式可视化数据。kibana安装配置获取安装包链接:https://pan.baidu.com/s/10j9rqYQrGWLH...原创 2019-06-27 11:21:53 · 824 阅读 · 0 评论 -
(一)elasticsearch简介及6.2版本安装
简介ElasticSearch是一个基于Lucene由java语言开发的搜索引擎,是一个分布式、多用户、支持REST操作、开源的全文搜索引擎。ElasticSearch配置简单、扩展性强、实时性强,在大量数据情况下性能很高,是当前流行的企业级搜索引擎。用途网络商城 存储商品、库存信息,提供搜索和商品建议 日志手机、事务数据收集 、统计汇总 使用logstash 迅速的业务调查...原创 2019-06-25 11:55:14 · 361 阅读 · 0 评论 -
(五)zookeeper主要应用及思路
目录一、配置中心二、leader选举三、分布式锁四、分布式计数器五、服务注册中心一、配置中心通过zookeeper存储配置文件,, client读取该路径的配置文件,并用watcher监控节点状态,, 当znode数据变化时,client接收到事件重新读取配置文件。注意watcher机制是一次性的,因此重新加载一次后需要再次注册watcher。 二、leade...原创 2019-06-20 15:40:43 · 108 阅读 · 0 评论 -
(四)curator-recipes笔记
目录## 选举 #### 锁 #### Barriers #### Counters #### Cache ##curator-receipts应用,,来自 [http://curator.apache.org/curator-recipes/index.html](http://curator.apache.org/curator-recipes/index.html)...原创 2019-06-19 17:57:42 · 1052 阅读 · 0 评论 -
(三)curator介绍以及简单zookeeper操作
curator简介curator是Netflix公司开源的一套zookeeper客户端框架,由java语言编写,包含了对zookeeper源语的高层次、低层次封装,让我们能更简单、更可靠地使用zookeeper。此外,curator还提供了仅用底层开发比较困难的高级特性。curator常用模块:curator-client 提供一些curator客户端底层操作 curator-fr...原创 2019-06-19 17:45:25 · 259 阅读 · 0 评论 -
(二)zookeeper命令
简介本章将记录所有的zookeeper命令以及可能使用的场景,需提前配置好zookeeper环境ZNode增删查改操作help 查看zk命令列表 create,创建节点, path可以为绝对路径也可以为相对路径 , data为节点值, -s表示创建顺序节点, -e表示创建临时节点(使用很多,会话关闭或者创建节点的Cli关闭节点会小时)。 delete, 删除空节点,节点不为...原创 2019-06-17 14:45:10 · 974 阅读 · 0 评论 -
(一)zookeeper简介及环境搭建
什么是zookeeperZooKeeper(简称ZK)是一个分布式的,开源的协调服务,用Java语言编写,它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。我们可以用ZK实现比如达成共识、集群管理、leader选举等,因此ZK被许多应用集成作为重要组件,如Hadoop、Hbase、elasticsearch等。ZK是以fast paxos算...原创 2019-06-14 16:34:28 · 256 阅读 · 0 评论 -
(八)redis之HyperLogLog 、Geo
目录一、HyperLogLog简介命令用途PS二、Geo简介命令一、HyperLogLog简介redis中的HyperLogLog是用来做基数(集合中的不重复数据)统计的算法,优点是在数据量很大时计算基数数量的空间大小固定而且很小。 每个键需要12KB内存,可以计算2^64次方个不同基数,不会随着元素增多而耗费更多内存。但是只会计算基数数量,不...原创 2019-06-10 11:54:15 · 295 阅读 · 0 评论 -
(五)redis常用数据结构之Set
目录一、简介二、命令大全三、sscan四、set的引用场景一、简介Redis 的 Set 是用于存储String 类型的无序不重复集合。集合成员是唯一的,不能出现重复的数据,因此可用于去重。Redis 中集合是通过哈希表实现的,所以添加,删除,查找的复杂度都是 O(1)。集合中最大的成员数为 232- 1 (4294967295, 每个集合可存储40多亿个成员)。...原创 2019-06-05 17:38:52 · 182 阅读 · 0 评论 -
(七)redis常用数据结构之hash
目录一、简介二、命令大全三、实际使用一、简介Redis 的 hash与java的map类似,用于存储string类型的key、value映射,很适合存储同类对象。二、命令大全HDEL, 删除key下的一个或多个field HEXISTS,判断key下field是否存在 HGET, 获取key下field的值 HGETALL, 获取key下所有键值对。...原创 2019-06-06 14:44:44 · 109 阅读 · 0 评论 -
(六)redis常用数据结构之sorted_set
目录一、简介二、命令大全三、应用一、简介redis中sorted_set是增加了score(分数)功能的set,同样是无序不重复的字符串,可以根据score实现排序、排名等功能,也可以完成set的去重、集合操作。二、命令大全ZADD,向set中添加一个或多个成员,并指定分数,, NX | XX 分别表示集合不存在时生效、存在时生效,,CH和INCR选项用于修改集合...原创 2019-06-06 14:44:40 · 781 阅读 · 0 评论 -
(一)Linux下安装配置redis
一、redis简介redis是使用ANSI C语言编写、基于内存、支持持久化、key-value存储的非关系型数据库。redis提供丰富的数据类型,可以方便地存储复杂数据类型,所以应用比较广泛二、安装配置获取安装包并上传至Linux服务器 链接:https://pan.baidu.com/s/1ZJU8u5XduXfCBnVW_zFisg 提取码:o60p ,我习惯放在/u...原创 2019-06-04 11:50:53 · 127 阅读 · 0 评论 -
(九)redis之pubsub、transactions
一、pubsub简介redis的pub/sub设计的很轻量级,做到了基本的发布和订阅,不支持持久化等企业级特性。命令SUBSCRIBE ,订阅一个或多个channel,接收channel新增的消息。 PSUBSCRIBE, 订阅pattern匹配的channel。pattern支持 *代表一个或多个字符,?代表一个字符。 UNSUBSCRIBE,取消订阅 PUNSU...原创 2019-06-10 15:16:22 · 198 阅读 · 0 评论 -
(二)允许外网登陆、安装desktop manager
目录一、开放redis端口二、修改redis配置文件三、安装图形界面工具一、开放redis端口vim /etc/sysconfig/iptables , 开放6379端口 service iptables restart, 重新加载iptables二、修改redis配置文件protected-mode ,注释上说保护模式默认开启,只有你确定想要其它...原创 2019-06-04 15:11:55 · 127 阅读 · 0 评论 -
(三)redis常用数据结构之strings
目录一、环境介绍二、strings三、strings的bitmap四、bitop一、环境介绍系统:CentOS6.8 redis版本: 4.0.7 终端软件:Xshell 说明:下面都将使用redis的help命令对各个数据结构做命令详解,在这之前需要安装好redis,运行server,运行cli连接上server。二、stringshelp @string,即...原创 2019-06-05 11:32:18 · 213 阅读 · 0 评论 -
(十)redis持久化方式
目录简介RDBAOF简介redis支持数据持久化,就是将内存中的数据存储到物理介质中,在断电后数据不会丢失。redis提供两种数据持久化方式:RDB和AOF。RDBRDB是一定时间间隔内触发一次全量备份,将当前redis中的数据镜像写入磁盘,是redis默认的持久化方式。可以在满足配置文件条件是自动执行save,也可以有客户端调用save、bgsave执行 sa...原创 2019-06-11 10:05:54 · 69 阅读 · 0 评论 -
(十一)redis主从模式及哨兵
一、主从模式简介redis中可以通过slaveof 或者配置文件设置slaveof选项,来让当前server成为某个server的从节点,本server就是被称为从服务器(slave),对方被成为主服务器(master)。slave会复制master的数据,master可以接收读写请求,slave默认情况下只能读不能写。优点slave会复制master数据,达到备份效果 多个s...原创 2019-06-11 14:59:27 · 98 阅读 · 0 评论 -
(四)redis常用数据结构之list
目录一、简介二、命令合集三、list应用一、简介redis中list采用双向链表结构,和java的LinkedList很相似,通过void *指针保存value,可以存储包括字符串在内的多种数据类型,具有有序可重复特点。二、命令合集list命令主要是对列表的增删查改。常用命令会加粗 BLPOP阻塞地弹出一个列表最左(最前)元素,没有元素时会等待,直到等待超时 。...原创 2019-06-05 15:02:31 · 115 阅读 · 0 评论