![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
技术点
文章平均质量分 94
技术点使用总结
炎升
这个作者很懒,什么都没留下…
展开
-
kafka学习(五):消费者分区策略(再平衡机制)
*** 返回序列化后的自定义数据*/}/*** 分区分配的计算逻辑*//*** 当组成员从领导者那里收到其分配时调用的回调*/}/*** 指明使用的再平衡协议* 默认使用RebalanceProtocol.EAGER协议, 另外一个可选项为 RebalanceProtocol.COOPERATIVE*/}/***/}/*** 分配器的名字。原创 2022-10-26 10:19:06 · 4428 阅读 · 2 评论 -
kafka学习(四):生产者发送消息的分区策略
自定义分区策略 跟DefaultPartitioner实现方式一样。1、创建一个类,实现Partitioner接口。2、重写 partitioner中的方法,partitioner()方法的参数说明:参数1:topic参数2:key值参数3:key值字节数组参数4:value数据参数5:value数据的字节数组参数6:集群对象3、在 partitioner() 方法中编写自定义分区逻辑,返回分区编号。4、在生产者配置信息中进行配置自定义分区:=配置类全路径。原创 2022-10-25 14:38:17 · 3905 阅读 · 0 评论 -
kafka学习(三):kakfa消息处理、索引、零拷贝
综上,这三层语义,没有好坏之分,主要看具体的应用场景。例:允许数据丢失,但追求高性能,使用 at most once 至多一次。对数据精度要求非常高,一条不能丢并且结果严格正确,使用exactly once。很多框架默认是第二种(折中的),如何降低数据重复处理的可能行呢?可以适当调高超时时间,尤其是网络环境不好时。原创 2022-10-24 11:28:21 · 1221 阅读 · 0 评论 -
kafka学习(一):介绍、相关概念
Kafka最初由Linkedin公司开发,是一个分布式的、⽀持分区的(partition)、多副本的(replica)、多订阅者,基于zookeeper协调的分布式消息系统(也可以当做MQ系统),也是一个分布式流处理平台常用于web/nginx日志、访问日志、消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。原创 2022-10-24 10:01:50 · 1357 阅读 · 0 评论 -
kafka学习(二):单机环境搭建、基本使用
下载kafka很简单,可以使用源码的方式和安装包的方式安装。这里使用安装包的方式进行安装,只需要进行解压运行即可。源码下载地址:https://archive.apache.org/dist/kafka/2.5.0/kafka-2.5.0-src.tgz安装包下载地址:https://archive.apache.org/dist/kafka/2.5.0/kafka_2.12-2.5.0.tgz。原创 2022-10-24 09:34:23 · 2045 阅读 · 0 评论 -
redis启动后的警告问题
如果我们什么都不修改,redis启动时会有三个警告警告1 :WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128解释:上面写的很清晰,意思是配置 /proc/sys/net/core/somaxconn的值是128,虽然redis.conf中配置的是511,但是linux内核会以无提示的转载 2021-09-02 22:40:32 · 3999 阅读 · 1 评论 -
redis主从复制环境搭建
1、主从模式介绍:redis的主从模式,使用异步复制,slave节点异步从master节点复制数据,master节点提供读写服务,slave节点只提供读服务(这个是默认配置,可以通过修改配置文件 slave-read-only 控制)。master节点可以有多个从节点。配置一个slave节点只需要在redis.conf文件中指定 slaveof master-ip master-port 即可。 redis主从复制的一些特点:master可以有多个slave 除了多个slav...原创 2020-05-23 15:35:32 · 529 阅读 · 1 评论 -
redis哨兵模式
1、哨兵模式Redis Sentinel是实现Redis高可用的一个方案。在主从复制模式中,主节点故障通常都是走的以下的流程:主节点发生了故障,导致客户端连接失败并且从节点复制失败。若主节点无法正常启动的情况下,就会选择一个从节点进行slave of no one 的操作,让它重新晋升为主节点,更新软件应用的主节点的信息使用slave of {newMaster} ,与新的主节点建立复制关系。原来的主节点恢复后与新的主节点建立复制关系,降为从节点。...原创 2020-06-02 09:45:59 · 2351 阅读 · 1 评论 -
elasticsearch学习(七):es客户端RestHighLevelClient
Java Low Level REST Client:ES官方的低级客户端。低级别的客户端通过http与Elasticearch集群通信。Java High Level REST Client:ES官方的高级客户端。基于上面的低级客户端,也是通过HTTP与ES集群进行通信。它提供了更多的接口。客户端(Client) Jar包的版本尽量不要大于Elasticsearch本体的版本,否则可能出现客户端中使用的某些API在Elasticsearch中不支持。原创 2022-09-24 18:44:32 · 37508 阅读 · 6 评论 -
elasticsearch学习(六):IK分词器
IKAnalyzer是一个开源的,基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始IKAnalyzer已经推出 了3个大版本。最初,它是以开源项目Lucene为应用主体的,结合词典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer3.0则发展为 面向Java的公用分词组件,独立于Lucene项目,同时提供了对Lucene的默认优化实现。1)采用了特有的“正向迭代最细粒度切分算法“,具有60万字/秒的高速处理能力。原创 2022-09-19 18:12:39 · 11275 阅读 · 0 评论 -
ElasticSearch学习(五): 分词器
顾名思义,就是,也叫。在 ES 中,Analysis是通过来实现的,可使用 ES 内置的分析器或者按需定制化分析器。举一个分词简单的例子:比如你输入,会自动帮你分成两个单词,一个是mastering,另一个是,可以看出单词也被转化成了小写的。原创 2022-09-19 17:21:39 · 1907 阅读 · 0 评论 -
ElasticSearch学习(四):增删改查、高亮、聚合、别名、重建索引
Elasticsearch默认走的是http协议,而http协议它是一种无状态的协议,无状态就是指服务端它不会记录客户端的所有信息和操作,客户端必须每次带上自己的状态去请求服务器。因此,如果客户端想要操作这个服务器,必须通过某些手段,才能让服务器发生状态转化。而这种转化是建立在表现层之上的,所以说这就表现层的状态转化。我们对ES的所有操作,都被封装成了RestAPI,所以我们只要发送请求就行了。原创 2022-09-18 12:45:17 · 2189 阅读 · 1 评论 -
ElasticSearch学习(三): index的Settings配置参数
所谓静态配置项就是在创建index时指定,创建后不能再修改。静态配置里,有重要的部分是配置分析器(config analyzers)。所谓动态配置项是在创建index后,还可以通过API动态来修改。排序的字段只能是boolean,numeric,date,(1)慢搜索日志设置。(2)慢索引日志设置。原创 2022-09-17 00:00:31 · 4201 阅读 · 1 评论 -
ElasticSearch学习(二): Mapping的数据类型和参数
对text类型的字段,会先使用分词器分词,生成倒排索引,用于之后的搜索。对keyword类型的字段,不会分词,搜索时只能精确查找。原创 2022-09-15 23:40:09 · 2512 阅读 · 1 评论 -
Elasticsearch学习(一):基础概念
Elasticsearch是一个开源的分布式、RESTful 风格的搜索和数据分析引擎,它的底层是开源库Apache Lucene。Lucene可以说是当下最先进、高性能、全功能的搜索引擎库--无论是开源还是私有,但它也仅仅只是一个库。为了充分发挥其功能,你需要使用 Java 并将 Lucene 直接集成到应用程序中。更糟糕的是,您可能需要获得信息检索学位才能了解其工作原理,因为Lucene 非常复杂。为了解决Lucene使用时的繁复性,于是Elasticsearch便应运而生。原创 2022-09-13 22:51:14 · 1197 阅读 · 0 评论 -
Java 邮件发送失败常见异常类型
421 HL:REP 该IP发送行为异常,存在接收者大量不存在情况,被临时禁止连接。请检查是否有用户发送病毒或者垃圾邮件并核对发送列表有效性;•421 HL:ICC 该IP同时并发连接数过大,超过了网易的限制,被临时禁止连接。请检查是否有用户发送病毒或者垃圾邮件,并降低IP并发连接数量;•421 HL:IFC 该IP短期内发送了大量信件,超过了网易的限制,被临时禁止连接。请检查是否有用户发送病...转载 2019-11-14 09:53:49 · 1954 阅读 · 0 评论