- 博客(159)
- 收藏
- 关注
RSS订阅
原创 智能知识问答-知识库搜索方案
本文深入探讨在智能知识问答系统中的知识库的设计与实现方法，包括如何组织和管理数据存储格式以及如何进行多维度映射等关键技术。通过对这些问题的解决，可以更好地建立起高质量的知识库并提高系统的性能表现。
2024-07-22 21:10:41
1283
原创 智能知识问答-递归字符文本分割器
指定一个块长度和一组分隔符（默认的字符列表是["\n\n", "\n", " ", ""]），根据分隔符的优先顺序对文本进行预分隔，然后将小块进行合并，将大块进行递归拆分，直到获得所需的块大小，最终这些块的大小并不完全相同，但它们仍然会逼近指定的块长度。
2024-07-22 21:03:35
615
原创 AI世界- 客流统计
AI世界花哨技术展示AI世界-跨镜追踪 AI世界-行人属性分析 AI世界- 客流统计 AI世界-人体关键点 AI世界-热力图 AI世界-换脸 AI世界-人脸PS AI世界-三维人脸重建 AI世界-人脸密集关键点 AI世界-车辆检测客流统计精准人头检测，对输入图片进行人头的精细定位，结合跟踪、多边形ROI等技术，可以统计任何时间点或者时间段内，一个或者多个、规则或不规则区...
2018-12-11 09:21:20
2927
6
原创 go随聊-非常快的son解析包
A high-performance 100% compatible drop-in replacement of "encoding/json"吐槽一下，这么NB了一个logo都没有:)How to getgo get github.com/json-iterator/goUsage100% compatibility with standard lib和标准包完全兼容...
2018-10-31 10:49:51
2558
原创 10亿级人脸搜索
人脸检索 给定一张照片，与指定人脸库中的N个人脸进行比对，找出最相似的一张脸或多张人脸。 根据待识别人脸与现有人脸库中的人脸匹配程度，返回用户信息和匹配度，即1：N人脸检索。可用于用户身份识别、身份验证相关场景。人脸检索技术难点：单机由于内存和CPU性能限制，能够支持的人脸检索数始终都有上限，所以必须进行集群设计来提高容量。 10亿级别的人脸库存储是一个问题，按每张图片50...
2018-09-14 15:45:20
6434
原创 Kibana安装
Kibana是在有了相当多的数据之后，进行分析这些数据用的工具。Kibana里面有一个叫做Dev Tools的，可以很方便地以Restful风格向服务器提交请求。
2024-08-02 21:50:07
277
原创 安装SeaweedFS
SeaweedFS 是一个简单且高度可扩展的分布式文件系统。有两个目标：to store billions of files!(存储数十亿个文件！(快速提供文件！Seaweedfs的中心节点（center master）并不会管理所有文件的元数据而仅仅管理文件卷（file volmume），文件及其元数据的管理是由volume server实现的。这可以缓解center master的并发压力，并且将文件元数据分配到volume server可以实现更快的文件访问（只需一次磁盘读取操作）。
2024-08-02 18:41:40
257
原创 智能知识问答-知识库微调和参数调整
通过调整知识库搜索时的相似度和最大搜索数量，实现从知识库层面限制聊天范围。通常我们可以设置相似度为 0.7，并设置空搜索回复内容。这意味着，如果用户的问题无法在知识库中匹配时，会直接回复预设的内容。提示词的作用是引导模型对话的方向。
2024-07-22 21:17:58
160
原创 智能知识问答-Markdown文本分割器
在处理Markdown文档时，能够根据标题结构进行智能拆分是提高处理效率和准确性的关键。这正是Markdown文本分割器发挥作用的场景。通过这个工具，我们可以基于Markdown的标题层次结构，将文档拆分成结构化的小块，每个块都包含了相应标题下的内容。这样不仅有助于保持文档的语义结构完整，还能便于后续的内容管理和信息提取。
2024-07-22 21:05:55
95
原创 智能知识问答-段落章节文本分割器
段落章节文本分割器是一个“结构感知”的分块器，能够在元素级别上拆分文本，并为每个标题“相关”的块添加元数据。这意味着它不仅仅按照简单的文本流进行拆分，而是能够理解文档的结构，按照这种结构进行智能拆分。段落章节文本分割器尽可能的保留原文章节段落结构，保证章节完整性。
2024-07-22 21:04:27
170
原创 智能知识问答-逻辑框图
在问答环节，系统会检索并提取与问题相关的文档块，接着构建一个提示词（Prompt），将其输入到一个大语言模型中，最终由模型生成相应的问答内容。首先，将pdf、markdown、text等格式的文档进行分割，然后转换为嵌入（Embedding）形式，并存储到向量数据库里。
2024-07-22 20:54:06
232
原创 Paddle使用问题No module named ‘paddle.fluid’
这是Paddle版本的问题，从飞桨框架 2.5 版本开始，已经废弃了 paddle.fluid。解决方案：修改paddle版本。
2024-05-29 20:00:21
1638
1
原创 PP-ShiTu V2商品识别系统（01.简介）
PP-ShiTuV2 是基于 PP-ShiTuV1 改进的一个实用轻量级通用图像识别系统，由主体检测、特征提取、向量检索三个模块构成，相比 PP-ShiTuV1 具有更高的识别精度、更强的泛化能力以及相近的推理速度*。主要针对训练数据集、特征提取两个部分进行优化，使用了更优的骨干网络、损失函数与训练策略，使得 PP-ShiTuV2 在多个实际应用场景上的检索性能有显著提升。
2024-05-28 20:23:00
1025
1
原创 PaddleClas 指定gpu
在使用PaddleClas进行模型训练或预测时，如果您想要指定使用特定的GPU设备，可以通过CUDA_VISIBLE_DEVICES环境变量来设置。请确保您的PaddlePaddle版本支持GPU，并且已经正确安装了对应的CUDA和cuDNN库。
2024-05-25 20:44:52
507
原创 用conda创建python虚拟环境
3）检查更新当前conda（可能因为网络问题，会很慢很慢）2）查看当前存在哪些虚拟环境。4）Python创建虚拟环境。6）对虚拟环境中安装额外的包。5）激活或者切换虚拟环境。conda常用的命令。1）查看安装了哪些包。
2024-05-24 09:36:27
231
原创 ubuntu18 安装sudo
第一行命令会更新你的包列表，以确保你安装的是最新版本的软件包。第二行命令实际上会安装或更新。是Ubuntu及其衍生版本的基本包之一，默认情况下就已经安装。在Ubuntu 18.04上安装。ubuntu18 安装sudo。的路径，否则会显示没有找到。如果已安装，这个命令会返回。通常是不必要的，因为。
2024-05-23 20:04:38
385
原创 ubuntu18 安装python3.8
完成以上步骤后，Python 3.8将在你的Ubuntu 18.04系统上安装成功。来确认安装并使用它。
2024-05-23 19:58:42
738
原创 cudnn是什么
NVIDIA cuDNN可以集成到更高级别的机器学习框架中，如加州大学伯克利分校的流行caffe软件。简单的，插入式设计可以让开发人员专注于设计和实现神经网络模型，而不是调整性能，同时还可以在GPU上实现高性能现代并行计算。CUDA实现了可以调用GPU，而cuDNN实现了使CUDA更符合深度神经网络的使用，网上装用CUDA和cuDNN的电脑比只装CUDA的电脑的训练速度快1.5倍。NVIDIA cuDNN（CUDA Deep Neural Network）是用于深度神经网络的GPU加速库。
2024-05-23 19:51:40
274
原创 cuda 是什么
CUDA平台包括两个主要部分：CUDA许可证和CUDA编程模型。而CUDA编程模型则允许开发者编写可并行化的C语言代码，并利用CUDA工具包进行编译和执行。CUDA（Compute Unified Device Architecture，统一设备架构）是一种并行计算平台和编程模型，旨在利用GPU（图形处理器）进行高性能计算。CUDA编程模型允许开发者使用C语言编写并行代码，而不需要了解底层的CUDA C API。然而，如何充分利用CUDA的优点，并避免其缺点，需要开发者根据实际需求和场景进行权衡和选择。
2024-05-23 19:43:48
811
原创 在linux下去除^M
在Windows系统下编辑的文件，换行符回车的格式为'\r\n'，在linux系统下，回车的格式为'\n'，在Windows下编辑的文本文件在上传至linux服务器时，回车'\r\n'就显示成^M+'\n'。 在Windows环境下，用ultraedit或者notepad plus都有相应的选项可以将Windows下的文本格式文件转换成unix格式文件。比如：notepad plus中“编辑”—>“档案格式转换”—>“转换为UNIX格式”。用vi修改文件如果文件是在windows
2020-09-04 21:14:36
328
原创 Mongodb安装
安装过程1.到mongodb官网下载对应系统的压缩包，我下载的是mongodb-linux-x86_64-rhel70-4.0.9.tgz2.创建一个工作目录，如db，解压安装包 tar -zxvfmongodb-linux-x86_64-rhel70-4.0.9.tgz3.在解压后的目录创建一个data目录，用来保存数据4.在解压后的目录创建一个log目录，用来保存日志5.在解压后的目录创建一个etc目录，用来保存配置文件，在etc中创建mongodb.conf文件，内容如下：.
2020-05-27 15:00:40
259
原创 全局ID生成器
snowflake的结构如下(每部分用-分开): 0 - 0000000000 0000000000 0000000000 0000000000 0 - 00000 - 00000 - 000000000000 第一位为未使用，接下来的41位为毫秒级时间(41位的长度可以使用69年)，然后是5位datacenterId和5位workerId(10位的长度最多支持部署1024个节点） ，最后12位是毫秒内的计数（12位的计数顺序号支持每个节点每毫秒产生4096个ID序号）一共加起来刚好64...
2020-05-24 15:12:30
1901
2
原创 跳表SkipList(go语言实现)
网上找到一个开源的代码https://github.com/AceDarkknight/ConcurrentSkipList数据结构我们用 ConcurrentSkipList 这个数据结构代表整个 skip list，可以看到里面是一个包含多个 skipList 的切片。// ConcurrentSkipList is a struct contains a slice of concurrent skip list.type ConcurrentSkipList struct {
2020-05-23 16:50:30
501
原创 跳表SkipList
跳表是redis的一个核心组件，也同时被广泛地运用到了各种缓存地实现当中，它的主要优点，就是可以跟红黑树、AVL等平衡树一样，做到比较稳定地插入、查询与删除。理论插入查询删除的算法时间复杂度为O(logN)。什么是跳表 链表，相信大家都不陌生，维护一个有序的链表是一件非常简单的事情，我们都知道，在一个有序的链表里面，查询跟插入的算法复杂度都是O(n)。我们能不能进行优化呢，比如我们一次比较两个呢？那样不就可以把时间缩小一半？同理，如果我们4个4个比，...
2020-05-23 16:36:04
192
原创 分布式图片存储-1
搞AI应用的基本都会涉及到图片存储，特别是AI在安防行业的应用，基本都需要满足100亿级别的图片存储系统。需求大概是：写非常多而且频繁 读相对不是很多(访问长尾效应) 修改基本没有 删除非常少 需要支持循环删除(按时间删除，保留最新的，删除最老的)背景由于目录文件多了非常慢，所以根据文件名 hash 头几位，建立 00-FF 好多目录，来打散这些文件的存储。目录定位本身也是需...
2020-03-30 19:18:58
544
原创 linux系统函数posix_fadvise
posix_fadvise是linux上对文件进行预取的系统调用，其中第四个参数int advice为预取的方式，主要有以下几种：POSIX_FADV_NORMAL 无特别建议 重置预读大小为默认值POSIX_FADV_SEQUENTIAL ...
2020-03-21 15:58:47
3760
原创 keepalived启动报错 Configuration file '/etc/keepalived/keepalived.conf' is not a regular non-executable
keepalived启动报错如下：报错如下Configuration file '/etc/keepalived/keepalived.conf' is not a regular non-executable file解决方式更改 /etc/keepalived/keepalived.conf文件权限，命令如下：chmod 644 /etc/keepalived/keep...
2020-01-09 10:08:07
2258
原创 lvs+keepalived安装
本文主要记录下lvs和keepalived安装配置以及使用。主机ip 角色 安装软件 10.135.112.92 Lvs+keepalived MASTER Ipvsadm keepalived 10.135.112.91 Real server 测试用web服务 10.135.112.199 VIP 一、安装LVS10...
2020-01-09 09:12:03
200
原创 Mysql-安装
linux安装mysql5.7.25在linux 系统中mysql配置文件的读取顺序为:/etc/my.cnf/etc/mysql/my.cnf/usr/local/mysql/etc/my.cnf~/.my.cnf第一步 创建mysql用户groupadd mysqluseradd -g mysql -d /home/mysql mysqlmkdir /var/lib/...
2020-01-08 08:42:43
231
原创 docker-Dockerfile
Dockerfile是一个包含用于组合映像的命令的文本文档。可以使用在命令行中调用任何命令。 Docker通过读取Dockerfile中的指令自动生成映像。Dockerfile的基本结构Dockerfile 一般分为四部分：基础镜像信息、维护者信息、镜像操作指令和容器启动时执行指令，’#’ 为 Dockerfile 中的注释。如下：FROM mysql:latest#作者信息...
2020-01-07 18:23:00
152
原创 docker命令
1、下载镜像docker pull centos 2、查看已经下载的镜像docker images[root@rs-dev-facego01 mysql]# docker imagesREPOSITORY TAG IMAGE ID CREATED SIZEmysql ...
2020-01-07 17:47:37
132
1.8 Golang to build a real-time interactive SaaS Cloud - 董海冰.pdf
2024-05-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人