- 博客(176)
- 收藏
- 关注
原创 Python :=海象运算符最简单的解释
背景:python 3.8正式版最近更新了,其中PEP572中的海象运算符获得正式python版本的支持.我看了官网的文档还有其它大神写的这个东西,我感觉在将来的python语句中是非常实用的一个东西,所以写下这篇博客来介绍、介绍,同时也是自己学习新版特性,尽管我司生产环境还停留在 3.6,但并不影响我尝尝鲜.ps:这是3.8 新特性网址:https://docs.python.org/3/wh...
2019-10-22 16:29:26 62682 29
原创 python爬虫之多线程、多进程爬虫
一、原因多线程对爬虫的效率提高是非凡的,当我们使用python的多线程有几点是需要我们知道的:1.Python的多线程并不如java的多线程,其差异在于当python解释器开始执行任务时,受制于GIL(全局解释所),Python 的线程被限制到同一时刻只允许一个程执行这样一个执行模型。2.Python 的线程更适用于处理 I/O 和其他需要并发行的阻塞操作(比如等待 I/O、等待从数据库获取...
2019-05-09 17:22:00 42746 32
原创 langchain v0.3更新了什么?
langchain-community包在0.3中已经被废弃,langchain-community中的内容已经相继搬到langchain-x包中了,包的引用改变需要多多注意下。所有软件包都完全支持在用户代码中使用 Pydantic 2,而无需使用 langchain_core.pydantic_v1 或 pydantic.v1 等桥接程序。Python 3.8 的生命周期将于 2024 年 10 月结束,因此将不再对其提供支持。
2024-09-27 16:38:38 623
原创 一些优化RAG思路
RAG 是预训练的 LLM 与外部(可搜索的)知识库的组合。在推理时,我们可以在此知识库中搜索相关的文本上下文,并将其添加到 LLM 的提示词中。然后,LLM 可以使用其上下文学习能力来利用这个添加的上下文并产生更真实/更扎实的输出。
2024-09-20 17:30:17 323
原创 有手就会之使用Dify构建RAG聊天应用(基于私有知识库和搜索引擎)
Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务(Backend as Service)和 LLMOps 的理念,使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员,也能参与到 AI 应用的定义和数据运营过程中。通俗点说,通过手机点击创建ai应用,而不用写代码了。官网链接阅读本文之前,假设读者已经了解llm、prompt、chatglm、git、github、docker、rag流程、向量数据(embedding)的相关知识,假如没有,可以先学习这些知识。
2024-09-02 18:13:29 1074
原创 腾讯云ubuntu docker换成国内的源
在腾讯云的 Ubuntu 服务器上更换 Docker 镜像源为国内源,可以提高拉取 Docker 镜像的速度。
2024-09-02 15:35:03 1422
原创 langchain入门系列之七 使用langchain解析新闻生成脱口秀剧本
本文将介绍使用langchain解析一段新闻,并根据内容生成一段脱口秀剧本。
2024-08-27 11:49:21 352
原创 langchain入门系列之六 使用langchain构建PDF解析助手
本文将介绍如何使用langchain构建一个pdf解析助手,在此文中你将学习到langchain如何与web应用(fastapi)相结合,向量持久化等知识,话不多说,现在开始。
2024-08-27 10:55:32 777
原创 langchain入门系列之五 初探代理
代理的核心思想是使用LLM来选择要采取的一系列动作。在链式结构中,一系列动作是硬编码的(在代码中)。在代理中,使用语言模型作为推理引擎来确定要采取的动作及其顺序。
2024-08-26 17:05:55 423
原创 langchain入门系列之四 链结构的使用
所谓的链结构,就是在相同的标准下,不同模块组成一条处理任务的流水线。优点是链提高了模块的标准化和复用性,缺点是增加了工程的复杂度和冗余。
2024-08-26 12:52:50 367
原创 langchain入门系列之二 LLM之提示词使用
langchain使用提示词与LLM模块及其语言模型进行交互,提示词是与语言模型交互的。来教会语言模型,从而达到更理想的效果。
2024-08-25 19:42:13 452
原创 langchain入门系列之一 初识langchain
把使用大模型比喻成和老虎搏斗,以前的你赤手空拳跟老虎搏斗,Langchain的作用就是现在和老虎搏斗,你可以选择趁手合适的道具,看我一个滑铲(bushi)。
2024-08-24 23:50:51 1050
原创 redis I/O复用机制
epoll是linux提供的I/O复用API,是一种事件驱动的I/O模型,它可以用于高效地处理大量的并发连接。其中,'e’代表"event"(事件),意味着epoll可以监测并响应特定的事件,如文件描述符上的读写事件、错误事件等。用一个进程监听大量连接,当某个连接可读/可写的时候,系统就发送事件通知进程处理该连接的数据。串行化处理,就是要等,假如进行到accept操作,cpu需要等待客户端发送的数据到tcp接收缓冲区才能进行read操作,而在此期间cpu不能执行任何操作。
2024-08-16 11:46:49 849
原创 redis事件机制
aeApiAddEvent、aeApiDelEvent:增加或删除一个监听对象。aeEventLoop:redis事件循环器,负责管理事件。aeFileEvent:存储一个文件描述符已注册的文件事件。aeApiPoll:阻塞进程,等待事件就绪或给定事件到期。aeApiCreate:初始化I/O复用机制上下文环境。aeTimeEvent:存储一个时间事件的信息。
2024-08-16 09:51:58 687
原创 重新认识元组
元组也就是python里的tuple,我相信很多人和我一样,就是在刚开始学习python的时候,仅仅只是把元组当作一个不可变列表,一个不可改变的列表,牺牲了自由度,在很多的场景中并不适用,故而一般很少用到元组。
2024-04-10 17:47:26 443
原创 WARNING: No output specified with docker-container driver
出现的,指出你没有指定任何输出目的地,因此构建后的镜像不会被持久保存,只会存留在构建缓存中。这两种方式都可以保证构建出的镜像不会仅仅停留在构建缓存中,而是可以实际部署和使用。命令会找不到镜像,从而导致build 和push流程失败.参数将镜像推送到私有或公共的Docker仓库。这样,构建完成后,镜像会被自动推送到指定的仓库地址。这样,构建完成后,可以在本地使用。
2024-03-26 11:17:54 987
原创 浅谈redis之SDS
SDS:全名 simple dynamic string,意为简单动态字符串,作为redis里的一种数据结构,它有着普通C字符所不具备的一些有点.
2024-02-22 10:27:38 1181
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人