- 博客(55)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 【deepseek】ollama & chatbox & webui 本地部署deepseek 踩坑记录
访问模型库：https://ollama.com/library/deepseek-r1。官网直达：https://ollama.com/download。② 接口地址：http://localhost:11434/v1。4090 显卡，32B模型，输出速度： 31 token/s。• 高性能设备：32B版本（32GB内存+12GB显存）官网：https://chatboxai.app/zh。• 入门级：1.5B版本（4GB内存+核显可运行）• 进阶推荐：7B版本（8GB内存+4GB显存）
2025-02-06 13:40:55
630
1
原创 【elasticsearch】tasks 查看任务
节点信息(nodes) & 任务信息(tasks)某个任务正在执行一个跨集群的 reindex 操作，数据从远程集群的 source_index 索引复制到本地集群的 destination_index 索引任务信息。
2025-01-24 13:00:44
431
原创 【elasticsearch】reindex 断点续传
由于数据量庞大或者网络/硬件故障，可能会发生中断。为了确保数据的完整性并支持中断后的续传，Elasticsearch 提供了一些方法来实现。
2025-01-24 12:36:41
410
原创 【elasticsearch】reindex 操作将索引的数据复制到另一个索引
在Elasticsearch中，reindex操作用于将一个索引的数据复制到另一个索引。常用的reindex。
2025-01-24 12:24:14
949
原创 【Lucene】单个cpu 每秒能支持多少个bm25公式的计算
BM25（Best Matching 25）是一个常用于信息检索中的排名函数，它基于词频（TF）和逆文档频率（IDF）计算文档与查询之间的相关性。对于单个CPU能够每秒支持多少次BM25计算，影响因素有很多，比如CPU的性能（如时钟频率、核心数）、BM25公式的计算复杂度、数据大小、查询和文档的长度等。如果假设每个查询只包含一个关键词，文档的长度适中，并且系统已经建立了优化的索引，单个BM25计算的时间一般来说在几十微秒到几毫秒之间。在这种情况下，单核CPU每秒可以支持的BM25计算次数大约在。
2024-11-29 09:29:43
996
原创 【Lucene】搜索引擎和文档相关性评分 BM25 算法的工作原理
BM25 是一种流行的文本检索算法，广泛用于搜索引擎和文档相关性评分。它基于概率检索模型，旨在评估查询和文档之间的相关性。
2024-11-21 15:17:18
1379
原创 【jieba】 jieba 库中 cut_for_search 方法的实现详解
cut_for_search 该函数的作用是对输入的sentence进行更细致的分词，主要用于搜索引擎。HMM=True是用于控制是否使用**隐马尔可夫模型（HMM）**来处理未登录词（即词典中没有的词）。在标准分词结果的基础上，对长度较大的词进一步生成 2-gram 和 3-gram 子词，并检查这些子词是否存在于词典中。存在的话，就将这些子词作为额外的分词结果输出。这种处理方式可以在搜索引擎中提高短词和子词的匹配率，进而提高召回率。这也是搜索引擎分词通常比普通分词更细致的原因。
2024-11-21 10:23:18
652
原创 【ChatGPT】实现贪吃蛇游戏
贪吃蛇游戏中。以下是实现赛博朋克风格背景的几种方法：您可以使用CSS的线性渐变来创建一个赛博朋克风格的背景。以下是一个示例：方法2：使用赛博朋克风格的背景图像您还可以选择使用赛博朋克风格的背景图像。以下是一些免费资源网站，您可以在这些网站上找到高质量的赛博朋克风格图像：一旦您选择了喜欢的图像，可以将其设置为背景。以下是如何在代码中实现：方法3：集成到现有的游戏代码中以下是将赛博朋克风格背景集成到您之前提供的游戏代码中的完整示例。此示例使用CSS渐变创建赛博朋克风格的背景，并保留了其他您之前添加的功能
2024-11-20 10:50:57
909
原创 【Lucene】Lucene的索引文件格式：深入理解Lucene使用的索引文件格式
Lucene的索引文件格式设计精妙，利用模块化和压缩技术实现了存储空间与查询效率的平衡。segments_N是索引的全局入口，.tis和.tii负责词典管理，.frq和.prx记录倒排索引的数据，.fdt和.fdx提供字段存储支持。通过这些文件的协作，Lucene能够在大规模数据中实现高效的全文检索。
2024-11-19 12:52:10
898
原创 【Lucene】详解倒排表的结构，如何实现词典与文档的映射关系
倒排表通过将词元映射到文档ID列表及位置信息，实现了从“词元到文档”的高效查找。词典提供了词元到倒排表的索引，而倒排表记录了文档的详细信息，使得全文检索可以在海量数据中实现快速查询。Lucene的这种设计在存储空间和查询效率之间取得了很好的平衡，是其性能卓越的核心原因。
2024-11-19 12:46:26
1391
原创 【Lucene】倒排表和词典：提升搜索效率的关键数据结构
词典和倒排表通过将关键词与文档的映射结构化，大大提升了搜索引擎的查询效率，使得在海量数据中快速、准确地定位和排序成为可能。这种数据结构是全文检索系统的基础，也是Lucene性能强大的关键原因。
2024-11-13 10:58:18
775
原创 【Lucene】详细讲解创建索引的步骤：分词、去停用词、语言处理、倒排表构建
Lucene构建索引的流程将非结构化文本数据转化为倒排索引结构，通过分词、去停用词、语言处理等步骤，将文本数据变得结构化和标准化。最终生成的倒排索引可以支持快速高效的关键词和短语查询，极大提升了全文检索的效率和性能。模型重新生成配图： illustration showing Lucene’s indexing process, detailing each step from tokenization to inverted index construction。
2024-11-13 10:33:59
983
原创 【Lucene】从文本到索引：Lucene如何构建索引
Lucene构建索引的全过程将非结构化文本数据逐步结构化，通过分词、倒排索引、段合并、文件存储等步骤，实现了高效的索引查询。构建好的倒排索引允许在大规模数据中快速定位查询关键词，从而大幅提升查询性能。查询速度快：倒排索引使得关键词定位速度极快，适合海量数据的全文检索。一次索引，多次查询：索引构建是一次性操作，生成后可以多次复用，提高了查询效率。支持复杂查询：Lucene的索引结构支持布尔查询、短语查询等多种复杂查询条件。
2024-11-10 16:26:55
1264
原创 【Lucene】架构概览和核心组件介绍
解析查询：用户输入的查询语句被解析，生成查询对象树。查询执行遍历查询对象树，通过倒排索引查找相关文档。打分和排序：根据Similarity模块计算文档得分，按相关性排序后返回。Lucene通过模块化的架构设计，实现了从数据分析、索引存储到查询解析、结果打分的完整全文检索流程。其核心组件各司其职，使得Lucene在处理海量非结构化数据时表现出极高的效率和灵活性。
2024-11-08 16:51:51
1009
原创 【Lucene】全文检索 vs 顺序扫描，为何建立索引比逐个文件搜索更高效？
相比顺序扫描，全文检索通过建立索引将查找变为在结构化数据中检索，显著减少了查询时间和资源消耗。对于大规模数据集，索引的初始创建开销远小于重复扫描所有文件的成本，因此全文检索在效率上具有明显优势。
2024-11-08 15:35:41
1000
原创 【Lucene】什么是全文检索？解读结构化数据与非结构化数据
全文检索是一种搜索技术，能够在大量文本内容中查找特定的词语或短语。这种技术特别适合非结构化数据，因为它通过构建倒排索引来快速定位包含指定关键字的文档，从而大大提升查询速度。索引创建（Indexing）：从原始数据中提取关键词并构建索引。索引查询（Searching）：根据用户查询词在索引中查找匹配文档，按相关性排序返回结果。在日常搜索引擎（如Google）或本地文件系统（如Windows文件搜索）中，全文检索都极为常见。
2024-11-08 15:17:56
1584
原创 【Lucene】原理学习路线
基于《Lucene原理与代码分析完整版》，制定了一个系统学习Lucene原理的计划，并将每个阶段的学习内容组织成专栏文章，zero2hero 手搓 Lucene的核心概念和实现细节。
2024-11-08 14:55:22
898
原创 【ChatGPT】搜索趋势分析
为了分析 ChatGPT 在过去一年的流行趋势，我们可以查看 Google Trends 的数据。【ChatGPT】搜索趋势分析。运行以下 Python 脚本。安装依赖pytrends。
2024-10-31 13:51:34
540
原创 【动手学transformer】源码阅读之sparse_embedding
稀疏嵌入（sparse embeddings）是一个计算稀疏嵌入的方法，通过输入的隐藏状态和 token ID 生成稀疏嵌入，并对未使用的 token 进行处理，以确保它们不会影响模型的后续操作。
2024-10-29 14:29:10
368
原创 Efficient Retrieval with Learned Similarities（RAILS）通过相似性学习进行高效检索
检索在推荐系统、搜索和自然语言处理等应用中发挥着关键作用。尽管点积作为相似度函数被广泛使用，但最新的检索算法已迁移到学习相似度上。本文提出了一种基于MoL的近似最近邻检索技术，并证明了其在推荐检索任务中的效率和准确性。
2024-07-25 13:36:14
1023
原创 【Linux】systemctl系统和服务管理命令
systemctl是systemd系统和服务管理器的主命令行工具，用于启动、停止、重启、启用、禁用和检查服务状态，以及管理系统状态。systemd是现代 Linux 发行版中广泛使用的初始化系统（init system），取代了旧的 SysV 和 Upstart 系统。以下是一些常见的systemctl。
2024-07-02 13:00:40
567
原创 【linux】文件内容对比工具：diff、 wdiff、 colordiff
colordiff使用的是diff的输出，所以你可以在文件中自定义颜色配置。创建或编辑diff是一个强大的工具，可以用来比较文件和目录的内容，生成补丁文件，并忽略某些类型的差异。通过结合不同的选项，可以满足各种文件比较需求。
2024-06-25 09:57:16
1197
原创 接口响应时间测试
会输出详细的请求过程，包括 DNS 解析时间、TCP 连接时间、SSL 握手时间、服务器处理时间和总时间。测试并计算平均响应时间外，还可以使用其他工具和方法来获得更准确的结果。是 Apache HTTP 服务器的一部分，可以用于测试 HTTP 服务器的性能。这种方法可以有效减少单次测试结果的偶然误差，从而提供更准确的响应时间评估。会在每个请求中添加指定的头部信息，帮助你准确地测试 API 响应时间。将输出详细的统计数据，包括每次请求的平均时间、中位数、百分位数等。将输出统计数据，包括每次请求的平均时间。
2024-06-18 16:58:43
1844
原创 XLM-RoBERTa 是一种多语言版本的 RoBERTa 模型
XLM-RoBERTa 是一种多语言版本的 RoBERTa 模型，由 Facebook AI 开发。它是为了处理多种语言的自然语言理解任务而设计的。
2024-06-18 13:53:49
1641
原创 【macOS】sleepimage 文件是 macOS 系统的睡眠镜像文件
sleepimage文件是 macOS 系统的睡眠镜像文件，用于在系统进入睡眠模式时保存内存状态。
2024-06-17 13:47:09
1111
原创 【动手学习】泊松分布
如果随机变量(X)服从参数为 (\lambda) 的泊松分布，记作 (X \sim \text{Poisson}(\lambda))，则其概率质量函数（PMF）为：} ]( k ) 是事件发生的次数，( k = 0, 1, 2, \ldots )(\lambda) 是单位时间或单位区域内事件的平均发生次数（也叫做参数或强度）
2024-06-11 14:14:49
1642
原创 【高考作文】随着互联网的普及、人工智能的应用，越来越多的问题能很快得到答案。那么，我们的问题是否会越来越少？
随着互联网的普及、人工智能的应用，越来越多的问题能很快得到答案。那么，我们的问题是否会越来越少？以上材料引发了你怎样的联想和思考？请写一篇文章。要求：选准角度，确定立意，明确文体，自拟标题；不要套作，不得抄袭；不得泄露个人信息。
2024-06-11 11:15:59
8990
原创 mount.nfs: Stale file handle
错误信息“mount.nfs: Stale file handle”通常表示NFS客户端用于访问NFS服务器上的文件或目录的文件句柄已失效。这可能是由于服务器上的更改（例如，文件或目录被删除或重新挂载文件系统）没有在客户端上反映出来导致的。
2024-06-11 11:13:02
2243
原创 在 Jupyter 编辑函数(Edit function in Jupyter)
在Jupyter Notebook里编辑一个已经存在的函数是可以实现的。你需要重新定义这个函数并执行该单元格。这将覆盖之前的定义，使用新的代码。例如，如果你有一个函数 fetch_california_housing，你可以按照以下步骤编辑和重新定义它：找到该函数的定义单元格，或者创建一个新的单元格。编辑该函数。重新执行该单元格。
2024-06-06 12:25:24
971
原创 annoy库（Approximate Nearest Neighbors Oh Yeah）使用demo
我们使用annoy库（Approximate Nearest Neighbors Oh Yeah），它是一种基于随机树的近似最近邻搜索算法，具有类似的高效和可扩展性
2024-05-31 20:06:09
508
原创 一种用于大规模向量搜索的算法 DiskANN（Disk-based Approximate Nearest Neighbor）
DiskANN通过图索引、层次化存储、实时更新和过滤器支持等技术，实现了在大规模向量数据集上的高效、准确和成本效益高的近似最近邻搜索。其实现方式结合了内存和磁盘管理技术，使其能够在处理大规模数据时仍能保持高性能和灵活性。
2024-05-31 20:01:06
1020
2
原创 信息检索领域的前沿方法--使用稀疏语义编码器改进文档检索及代码实现
稀疏语义编码器旨在弥合传统稀疏表示（如TF-IDF或BM25）和稠密表示（如神经嵌入）之间的差距，利用稀疏方法的可解释性和效率以及稠密方法提供的丰富语义理解。
2024-05-31 10:20:37
527
原创 error: could not install packages due to an oserror: httpsconnectionpool(host=‘files.pythonhosted.or
pip 源更改为清华大学镜像的方法
2024-05-30 19:59:35
876
2
原创 udp port isakmp unreachable
当遇到“UDP port ISAKMP unreachable”问题时，通常意味着设备或防火墙阻止或不响应ISAKMP（Internet Security Association and Key Management Protocol）流量。ISAKMP用于在IPsec VPN中建立安全关联和加密密钥，依赖于UDP端口500。
2024-05-30 19:53:16
727
原创 __pthread_mutex_lock_full: assertion ‘e != esrch || !robust‘ failed
这个错误信息通常与多线程环境中的互斥锁（mutex）有关。具体来说，它提示程序在尝试锁定互斥锁时遇到了断言失败，可能是由于线程或互斥锁状态不匹配引起的。
2024-05-30 19:50:15
716
原创 一个非常流行的机器学习库 Scikit-learn（简称 sklearn）的简单应用
Scikit-learn（简称 sklearn）是 Python 中一个非常流行的机器学习库。scikit-learn 提供了多种机器学习算法:线性回归、支持向量机、决策树等。模型超参调优
2024-05-30 13:28:09
899
原创 深度解读ChatGPT 基本原理
GPT 是一种基于变换器（Transformer）架构的模型。Transformer 架构是由 Vaswani 等人在 2017 年提出的，旨在解决自然语言处理中的序列转换问题。它主要由编码器和解码器两部分组成，但 GPT 仅使用了 Transformer 的解码器部分。
2024-05-30 13:19:56
1049
ChatGPT生成的贪吃蛇游戏
2024-11-20
深度生成模型
2018-11-11
tensorflow教程
2018-10-29
贝叶斯方法介绍
2018-10-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人