- 博客(441)
- 资源 (32)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 索引风云：正排索引 vs 倒排索引
要理解倒排索引，我们可以先来看一个简单的例子。想象一下，你是一位图书馆管理员，你需要管理数以千计的书籍，并且读者时不时会来问你，哪些书里提到了某个特定的话题，比如“猫”。如果没有索引，你可能需要一页一页地翻阅所有书籍，寻找“猫”这个词，这显然是一个非常耗时的过程。于是，你决定建立一个索引。最简单的索引方法是记录每本书里出现了哪些关键词以及它们的位置。这就是倒排索引的基本思想。
2024-09-23 09:29:48
714
原创 一文看懂Elasticsearch的技术架构：高效、精准的搜索神器
Elasticsearch 以其强大的全文本搜索功能而闻名。速度之所以这么快，因为 Elasticsearch 核心采用的是倒排索引；它功能之所以这么强大，是因为采用了可调相关度分数、高级查询 DSL 以及可提升搜索能力的诸多功能。然而全文本搜索只是全球众多公司利用 Elasticsearch 解决各种挑战的冰山一角。数字、文本、地理位置、结构化数据、非结构化数据，它适用于所有数据类型。
2024-09-20 09:14:12
763
原创 从零开始掌握全文本搜索：快速查找信息的最佳实践
作为 Elastic Stack 的核心，Elasticsearch 会集中存储您的数据，让您飞快完成搜索，微调相关性，进行强大的分析，并轻松缩放规模。这些工具和技术不仅提供了强大的搜索能力，还支持实时更新、复杂查询、多语言处理和高度可扩展性，使其成为处理大数据和复杂数据分析的理想选择。这一步骤考虑词语的词形变化、停用词（如“的”、“是”等）、大小写处理等因素，以确保搜索的准确性和完整性。，根据搜索算法计算文档的相关性得分，并根据这些得分对搜索结果进行排序，使最相关的文档排在前面，提供用户最有价值的信息。
2024-09-18 09:12:02
957
原创 为什么是删除缓存，而不是更新缓存？
相对并发与顺序的控制而言，删除缓存是一种直接有效的方式，确保下次请求时，服务器会从新的数据源获取最新的数据，而不会受到旧缓存的影响。而删除缓存则可以简单有效地避免并发与顺序性的问题，把原本复杂的问题简单化、异步化，拆解了并发的问题，让所有请求能重新获取最新数据，避免这类问题的发生。当路径（path）被评估为单个值时，复杂度为 O(M+N)，其中 M 是原始值的大小（如果存在），N 是新值的大小。当路径被评估为多个值时，复杂度也是 O(M+N)，其中 M 是键的大小，N 是新值的大小乘以键中原始值的数量。
2024-09-14 14:07:54
743
原创 消息队列 MQ 性能大揭秘
当然以上数据基于的硬件环境不一样，测试的数据也不一样，只能当成个大概的参考。在confluent.io的数据是基于相同的数据与环境的测试结果。另外以上的测试的结果并不能代表MQ的极限，因为机器配置与机器数量也不是足够的。延迟rabbitmq、kafka、pulsar、rocketmq延迟均能达到毫秒级，在不同的吞吐量他们的延迟还是有所区别。在低吞吐量的情况下，消息队列系统的延迟时间会受到多种因素的影响，包括系统架构、消息大小、网络延迟等。
2024-09-09 09:27:15
902
原创 2024消息队列“四大天王”：Rabbit、Rocket、Kafka、Pulsar巅峰对决
在选择合适的消息队列或消息传递系统时，了解各个系统的特点和优势非常重要。
2024-09-06 09:37:36
1409
原创 有哪些AI是完全免费且不限次数使用的？
一直以来AI工具存在的一个比较大的问题就是它的知识库的问题，所以会出现胡言乱语的情况，kimi这套操作给我们的感觉就是它的回答非常真实。个人还是比较推荐大家使用kimi的 有个不足之处的就是，时不时会提示它比较繁忙处理不过来，不过小公司有强大的技术但资源方面还是有限的，特别是免费给大家使用也是可以理解的。以上AI产品均是商业免费的AI产品，还有另外一些AI产品就是开源免费的。在字节大量存量用户的背景下，字节推出的AI产品豆包，因此也是近水楼台先得月有大量抖音用户在使用，它支持免费的文字聊天和绘画功能。
2024-09-02 08:59:30
1180
原创 国内AI工具分类大盘点，这些神器你都用过了吗？
AI爆发到现成已经快2年了，基本上我自己也使用了近2年的AI产品。国内、外的AI产品体验了很多。从最初文本聊天类的gpt、new bing、文心一言、通义千问，到后面绘图类Midjourney、Stable Diffusion、文心一格、通义万相等等。在这里来分享我自己使用的一些国内AI工具，希望能为大家提供一些实用的参考。先总体来看看目前国内AI的一些分类，当然我这里只是收集了很少一些分类。据统计目前国内大大小小的AI产品已经上千个了。
2024-08-30 09:36:23
1184
原创 AI辅助编程是否将成为未来编程的主流？
AI辅助代码的兴起并非偶然，它顺应了程序员不断追求更高效率和更少出错的需求。AI能够实时分析代码，提供优化建议，甚至自动修复问题，极大地减少了开发过程中的重复性劳动。从最早手工编写代码的繁琐工作，到如今自动化工具的广泛应用，编程的进化史就是一部人类追求更高效、更智能的历史。随后，集成开发环境（IDE）的出现改变了这一切，提供了自动补全和调试等功能，大大简化了代码编写和调试的过程。文心快码是百度旗下的智能编程助手，支持在用户编码过程中提供代码解释、单测生成、问题修复、技术问答等辅助功能，提升编码效率与质量。
2024-08-27 09:23:16
978
原创 国内AI争霸：技术巨头们的终极较量
以上都是一些非专业的对比，只是基于个人的使用体验。当然也有一些机构输出也专业的测试报告。比如：这份《中文大模型能力评测榜单》综合能力得分为分类能力、信息抽取能力、阅读理解能力、数据分析能力四者得分的平均值。其实可以看到不同机构输出的报告都有所不同，最终怎么样我们可以自己试试。我是栈江湖，如果你喜欢此文章，不要忘记哦！你的支持是我创作的动力。如果你有任何意见或建议，欢迎在下方留言。若转载，请注明文章来源。
2024-08-23 09:52:50
1047
原创 国外有哪些好用的AI工具？
2022年，ChatGPT闪亮登场，瞬间成为备受瞩目的潮流话题！尤其是当OpenAI推出基于GPT-3.5模型的ChatGPT版本后，这款产品凭借其惊人的对话能力和广泛的应用潜力，立即在大众中掀起了一股狂潮。从那一刻起，ChatGPT以其强大的自然语言处理技能，如一颗流星般划破夜空，瞬间吸引了全球大量用户的热情追捧，掀起了一场引人注目的人工智能革命！今天，我就要带你一起探索一下国外有哪些好用的AI工具，让你感受一下AI的魅力和乐趣。不要犹豫，跟我一起来吧！
2024-08-19 11:29:00
1690
原创 如果让你消息队列，该如何设计？说一下你的思路
在当今的分布式系统中，消息队列是一个不可或缺的组件，它在系统解耦、流量削峰、异步处理等方面发挥着重要作用。如果我要设计一个消息队列，我会从以下几个关键点出发呢？让我们来探讨一下如何设计一个消息队列的架构。
2024-08-14 14:41:32
758
原创 独特架构打造新一代消息队列Apache Pulsar
Apache Pulsar 是一个开源的分布式消息流平台，设计用于处理高吞吐量、低延迟的消息传递需求。Pulsar 最早由雅虎开发，并于 2016 年开源，2018 年成为 Apache 基金会的顶级项目。Pulsar 的独特架构使其能够提供多租户、持久化存储和批处理等高级功能，同时保持高性能和可扩展性。
2024-08-12 09:59:22
590
原创 2024最全Kafka集群方案汇总
在现代数据驱动的应用场景中，Apache Kafka 已经成为了一个不可或缺的组件。作为一个高吞吐量、可扩展、高可靠性的分布式消息系统，Kafka 能够胜任从简单的消息队列到复杂的流处理平台的多种角色。Apache Kafka 天生就支持集群架构。其设计和实现从一开始就考虑了分布式系统的特点，使其能够在多个节点上运行，提供高可用性、可扩展性和容错性。
2024-08-07 10:47:57
635
原创 2024最全RocketMQ集群方案汇总
....发现这些不一致，所以产生了一些疑问，然后去官方文档研究了一下。以下是官方文档英文版v4.x与v5.x可以明显看到v4.x的部署方法包括：单主模式、多主模式、多主多从模式-异步复制、多主多从模型-同步双写。并没有Local模式与Cluster模式之分。当然v4.x不要看中文版的，中文版的目录有点乱，并且v4.x的中文版文档用的又是v5.x的版本，不知道是不是官方没有维护v4.x中文版。
2024-08-05 09:15:32
803
原创 2024最全RabbitMQ集群方案汇总
目前推荐使用的集群模式就是Quorum队列与Streams，大多数应该还是Quorum队列模式。Quorum队列支持的是高可用集群，而Streams模式即支持高可用集群与支持负载均衡集群。当然Quorum队列模式也可以借助如HAproxy来支持负载均衡。另外除了以上说的方式外还有一些插件可以搭建集群如federation搭建多活集群。
2024-07-31 10:33:30
1198
原创 克隆一个分身为你工作
一、导航汇总网站 1、AI工具集ai-bot 这里收集了大量的AI工具，这里对AI工具进行分类：写作、图像、视频(含数字人)、办公、设计、对话聊天、编程、搜索引擎、音频、语言翻译、法律助手等等 可以在搜索栏输入"数字人"就是列出所有数字人相关的产品。火山引擎虚拟数字人具备2D真人、3D卡通和3D超写实在内的全类型虚拟数字人生产管线，采用行业领先的图像生成和语音交互技术，实现唇形、语音、表情和动作的高度拟人。比如AIGC视频平台这大类又分成：AI视频生成、AI数字人、AI换脸、AI字幕翻译、AI动漫视频等。
2024-07-30 09:50:01
846
原创 快递员送包裹与一致性哈希的关系
一致性哈希（Consistent Hashing）是一种用于分布式系统中数据分布和负载均衡的哈希技术。它通过减少数据迁移、支持动态扩展和高容错等特点，在分布式缓存、存储、负载均衡等系统中有广泛应用。
2024-07-29 10:06:41
464
原创 一致性哈希：解决分布式难题的神奇密钥
维基百科：一致哈希是一种特殊的哈希算法。在使用一致哈希算法后，哈希表槽位数（大小）的改变平均只需要对k/n个关键字重新映射，其中k是关键字的数量，n是槽位数量。一致哈希主要是用于解决分布式系统中的数据分布问题。因其在节点增减时只需重定位哈希环空间中的一小部分数据，展现了良好的容错性和可扩展性。这使得它在分布式系统中非常有效。它最核心目的是将数据平衡地分布在多个节点上，并在节点加入或退出时尽可能减少数据迁移。
2024-07-24 11:04:16
713
原创 被问到MQ消息已丢失，该如何处理？
在分布式系统中，消息中间件（如 RabbitMQ、RocketMQ、Kafka、Pulsar 等）扮演着关键角色，用于解耦生产者和消费者，并确保数据传输的可靠性和顺序性。尽管我们通常会采取多种措施来防止消息丢失，如消息持久化、手动确认机制和重试机制等，但如果消息已经丢失了这种情况，当丢失已经发生又应该如何处理呢？下面我们探讨可能的丢失场景及相应的补救措施。
2024-07-22 10:50:25
992
1
原创 AI编程对程序员到底是颠覆还是辅助？
关于程序员职业，马斯克表示，随着AI技术的发展，一些简单的、重复性的编程任务确实可能被自动化。是豆包旗下的智能编程助手，提供以智能代码补全为代表的核心能力，支持主流编程语言及 IDE，能在编码过程中提供单行或整个函数的建议，同时支持在用户编码过程中提供代码解释、单测生成、问题修复、技术问答等辅助功能，提升编码效率与质量。2个小时的直播，讲市面上最主流的AI工具技巧，还有工具之间的结合，听完可以领20个主流的AI工具+20套PPT模版，进阶版还有对应的安装教程，像文心一言、豆包和。AI编程工具有哪些功能？
2024-07-19 16:33:03
1107
3
原创 提升代码效率的秘密武器
MarsCode 是豆包旗下的智能编程助手，提供以智能代码补全为代表的核心能力，支持主流编程语言及 IDE，能在编码过程中提供单行或整个函数的建议，同时支持在用户编码过程中提供代码解释、单测生成、问题修复、技术问答等辅助功能，提升编码效率与质量。在输入框中用自然语言描述我们的需求，一般安装好MarsCode在IDE会出现MarsCode的图标，点开后会出现MarsCode窗体，如果没有也可以通过Ctrl+U快捷键调出MarsCode窗体。这只是一个简单的程序，要是生成复杂的程序可能会运行出错。
2024-07-19 14:48:13
600
原创 MQ四兄弟：如何实现延时消息
RabbitMQ 本身并没有直接支持延时消息的功能，但是可以通过使用 RabbitMQ 插件或构建消息死信队列（Dead Letter Exchange, DLX）的方式来实现延时消息。RocketMQ 通过设置消息的 定时消息和延时消息本质相同，都是服务端根据消息设置的定时时间在某一固定时刻将消息投递给消费者消费。可以看到RocketMQ 5.x已经更新了延时消息的实现，在官方文档可以看到已经改成定时、延时消息，原本4.x文档中的延时级别对照表已经去掉了，统一成时间戳的实现。属性来发送延时消息。
2024-07-17 11:24:51
866
原创 MQ四兄弟：如何保证消息可靠性
可以发现消息中间件如 RabbitMQ、RocketMQ、Kafka 和 Pulsar 在保证消息可靠性方面都差不多，都是从消息的生产者、MQ本身、消费者三个方向来保证的。消息持久化机制消息确认机制重试机制死信队列。
2024-07-15 11:10:43
986
原创 MQ四兄弟：如何保证消息顺序性
尽管RabbitMQ、RocketMQ、Kafka和Pulsar这些消息队列系统虽然在实现细节上有所不同,但它们保证消息顺序性的核心思想都是相似的,即确保具有相同特征的消息被发送到同一队列或分区中,由于队列数据结构本身就是先进先出的结构,因此只需要消费者从该队列按顺序消费,就能够保证消息的有序性。
2024-07-10 09:34:15
886
1
原创 解读BASE理论：高可用性与性能的完美平衡
数据可以是过时的、不准确的或者不一致的，并且这种状态在短时间内是可以接受的。在ACID模型中，状态必须是严格一致的，而在BASE模型中，系统允许有暂时的不一致状态，从而提高系统的可用性和容错性。为了方便使用，这个记账本被分成几个副本，分别放在家里的不同地方（如厨房、客厅和卧室），你在厨房的记账本上记录了一笔支出“买菜花了50元”，但是你没有立即去客厅和卧室的记账本上记录这笔支出。尽管在一天中的某些时间段，厨房和客厅的记账本数据是不一致的，但通过同步，最终所有的记账本都达到了相同的状态，实现了最终一致性。
2024-07-08 10:56:56
1092
1
原创 不看后悔！国内AI大比拼的精彩看点全汇总
至2022年AI爆发后，在中国已催生了上千个AI产品。这些产品涵盖了从头部大厂到高等院校，再到初创企业的广泛阵容。到这里有个问题就浮现了，应该选择哪个AI，哪个AI适合自己？这里是清华SuperBench的测评数据类似这样的测评报告互联网上已经很多，真正哪个合适自己还是自己尝试一下以下是个人的一些经验分享让大家少走些路，仅供参考一下：目前在国际上顶端的还是gpt4与claude 3，国内主要就是文心4与清华GLM-4。
2024-07-04 15:27:58
1313
4
原创 编程新纪元：AI辅助工具豆包Marscode体验
自从ChatGPT带动全球AI热潮，AI席卷着各行各业。编程界也不例外，早期做过了Github Copilot、阿里的通义灵码等AI编程插件的体验p.s.以上的下载量与评分均只是plugins.jetbrains的marketplace数据，仅供参考最近豆包也推出了豆包Marscode AI编程插件与IDE，下面就来体验一下豆包Marscode。
2024-07-04 14:46:09
1488
1
原创 所有的接口都需要幂等吗？
幂等性（Idempotency）是一个计算机科学中的重要概念，它描述了某些操作在重复执行时不会改变结果。无论该操作执行一次还是多次，其效果都是相同的。
2024-07-03 09:26:10
582
1
原创 如果对方没做幂等！记一次生产订单重复的反思
最近公司公司的旧系统中发现了一个bug。业务部门反馈，尽管用户只支付了一年的服务费用，系统却将有效期增加了两年。到底是什么原因呢？经过日志分析，发现消息队列（MQ）向第三方服务发送了两次消息。由于第二方服务的接口没有实现幂等性控制，导致了这一重大的bug。想一想，其实这种问题很简单，怎么会出这种问题呢？一般来说系统开发中不免会出现不少类似的问题，类似问题的出现并不罕见。一般系统都是从无到有，业务从少到多、早期可能也就几个或者一个研发人员开发出来的，后面升级或重构甚至推倒重来。。。
2024-07-01 10:53:19
633
1
原创 说说MQ在你项目中的应用(二)商品支付
看了不少关于MQ的文章，也对MQ的作用做了一些总结。通常来说MQ有三大功能：异步处理、系统解耦和流量削峰。但我觉得这些功能本质上都是围绕着异步这个核心来的，只是针对不同的业务场景做了些调整。现在市面上常用的MQ中间件，如RabbitMQ、RocketMQ和Kafka，都是大家耳熟能详的。最近，Apache基金会推出的Pulsar也挺火的，口碑不错，只还差一些大项目实战来检验它。如今，MQ在现在的项目里基本是标配了。这篇文章主要是梳理一下自己所在项目中是怎么用MQ的，复盘一下使用MQ的场景。
2024-06-26 10:55:16
867
1
原创 说说MQ在你项目中的应用(一)
看了不少关于MQ的文章，也对MQ的作用做了一些总结。通常来说MQ有三大功能：异步处理、系统解耦和流量削峰。但我觉得这些功能本质上都是围绕着异步这个核心来的，只是针对不同的业务场景做了些调整。现在市面上常用的MQ中间件，如RabbitMQ、RocketMQ和Kafka，都是大家耳熟能详的。最近，Apache基金会推出的Pulsar也挺火的，口碑不错，只还差一些大项目实战来检验它。如今，MQ在现在的项目里基本是标配了。这篇文章主要是梳理一下自己所在项目中是怎么用MQ的，复盘一下使用MQ的场景。
2024-06-24 09:49:57
1061
1
原创 仙讯畅通无阻：探索MQ阵法的强大功能
如果你是一位阵法大师，你的任务是将宗门的命令，通过MQ阵法，安全地传递给遍布三千世界的弟子们。MQ阵法有着奇妙的能力，它能创建一个神秘的空间——消息队列，这是一个只有阵法大师能触及的秘境，可以储存无尽的仙讯，直到接收者准备好接收。当弟子们进入修炼的空隙，他们便能通过自己的阵法感应，领取那些悬挂在阵法中的仙讯，得知天机，继续他们的修行。在修真境，存在一种神秘的传信阵法，名为MQ。这就是MQ，一种让仙讯在仙界自由流转的神奇阵法，它让每一位修真者都能在繁忙的修炼之余，不错过任何重要的仙讯。
2024-06-21 10:49:25
848
原创 索引与书架、新华字典的爱恨情仇
在MySQL的索引世界中，性能优化一直是开发者们关注的焦点。而索引，作为提升查询速度的关键技术之一，是非常重要的。索引根据存储类型可以分为聚簇索引(聚集)与非聚簇索引(非聚集)，它们决定了数据在磁盘上的存储方式和查询时的访问路径。本文将带你深入了解这两种索引类型，用最简单的语言解释它们的工作原理和应用场景。
2024-06-19 14:51:54
869
1
原创 索引在手，查询无忧：MySQL索引简介
想象一下，当你在图书馆寻找一本书时，如果图书馆没有分类和索引，你可能需要逐个书架去翻找，这无疑是非常耗时的。但如果图书馆有一套完善的索引系统，比如按照书名、作者、主题等分类，你就能迅速找到所需书籍。在MySQL中，索引就扮演着这样的角色，它帮助数据库快速定位到存储在表中的数据。
2024-06-13 09:25:03
571
1
原创 MySQL存储引擎详述：InnoDB为何胜出？
存储引擎是MySQL架构的重要组成部分,负责MySQL中数据的存储和提供了视图,存储过程等高级服务。简单来说,存储引擎就是数据库底层的引擎,用于处理SQL命令和底层的数据操作。不同的存储引擎支持不同的功能,可以根据应用场景选择最适合的存储引擎。
2024-06-11 11:33:54
1103
1
原创 SpringBoot修真秘籍
这异火，便是 Spring Boot 的注解之力，如 @SpringBootApplication、@EnableAutoConfiguration 等，它们如同仙符一般，贴在法宝之上，便能引导灵气自动流转，完成法宝的炼制。直到有一天，一位名叫Spring的大能，以其深厚的修为，创造出了一种名为“Spring Boot”的神奇异火，从此，修仙者们只需轻轻松松，便能炼制出法宝，无需再为繁杂的炼器步骤所困扰。神纹记载了所有配置类的法则。在古老的修仙界，随着灵气的复苏，修仙者们对于法宝的需求日益增长。
2024-06-05 10:17:59
811
1
原创 小索引大力量，记一次explain的性能优化经历
在 MySQL 的生产环境中，性能问题是一个常见的挑战。当数据库查询响应时间变慢，或者系统资源消耗异常时，我们需要快速定位问题并进行优化。MySQL 提供了一个强大的工具——EXPLAIN，它可以帮助我们分析查询语句的执行计划，从而找到性能瓶颈。本文模拟之前生产环境mysql性能问题的优化过程，对生产环境的复盘。系统上线后正常使用，大概1年后就出现业务慢，运维反馈某些业务操作会让服务器cpu飙升到100%以上。
2024-06-04 09:52:46
1149
1
原创 ClickHouse如何整合数据源：MySQL、HDFS...
ClickHouse 作为一个强大的列式数据库管理系统，支持多种数据源，使得用户能够方便地将数据导入 ClickHouse 进行存储和分析。接下来，我们需要在ClickHouse中创建一个MySQL表的映射。首先，我们需要在ClickHouse中创建一个数据库，用于存放从MySQL导入的数据。在这个命令中，我们指定了MySQL服务器的地址、数据库名、表名以及访问MySQL所需的用户名和密码。是在ClickHouse中创建的表，它将映射到MySQL中名为qrtz_job_details的表。
2024-06-03 12:02:09
812
1
原创 ClickHouse安装教程：开启你的列式数据库之旅
上面我们使用的是命令行客户端连接clickhouse,当然也是有图形客户端可以使用的，我们来看看DBeaver，基本上和MySQL一样。ClickHouse是一个高性能的列式数据库管理系统，适用于在线分析处理（OLAP）。此安装方式也是目前官方推荐的安装方式，执行完后，会下载二进制文件。中间会提示输入数据库密码，输入后回车。调整后，重启ClickHouse服务。看到这个就是安装成功了。
2024-05-29 09:53:34
729
1
网页tab选项卡网页tab选项卡
2011-01-11
放大镜放大镜放大镜放大镜
2009-10-30
javascript提高.pptjavascript提高.pptjavascript提高.ppt
2009-05-10
用于自动生成sql脚本的sql server数据库专用
2009-05-10
WEB开发的毕业论文——样板.docWEB开发的毕业论文——样板.doc
2009-05-10
chatgpt-mirror.rar
2023-06-06
掌握未来趋势的区块链技术研讨会：引领数字化时代的变革
2023-06-06
赋予你的Python项目新生命：打包为独立可执行文件（exe）的简单步骤
2023-06-06
信息安全-网络安全管理制度
2023-05-25
java面试题总汇（计算机基础、网络、存储、缓存、分布式、安全）
2023-05-25
MySQL内幕揭秘：探索MySQL调优指南，解锁MySQL的强大功能
2023-05-25
最新版本springboot集成elasticsearch
2023-05-25
ChatGPT-Web搭建秘籍：了解最新AI技术的前沿应用！
2023-05-25
Auto-GPT与ChatGPT区别及autogpt搭建
2023-05-25
python入门教程及python打包
2023-05-25
信息安全系统安全管理制度
2023-05-25
DevOps中的发布与部署到底有什么区别
2022-12-19
你的代码里已经开始使用reactive了吗？
2021-09-22
哪位大哥有没有mysql数据库自动备份的工具?
2010-07-21
TA创建的收藏夹 TA关注的收藏夹
TA关注的人