同学小张的博客

本文我们盘点了目前为止我使用过的所有爬虫代码，分析了它们的实现方法。从专用爬虫，到大模型直接提取指定信息的通用爬虫探索，再到最终的利用 AI Agent 实现通用爬虫，逐步递进，总能让你收获点东西。

在服务端配置起爬虫的环境，于是想着装个 Playwright，但没想到遇到这么多坑...

本文将探索自动化把URL列表所对应的网页打印成PDF文件的实现方法，内含完整代码，可直接运行使用，建议收藏备用。

过年了，祝大家新年快乐~ 今天不学习，来放松一下 ~用Python来写个放烟花的程序娱乐一下吧 ~不会？没事儿，我也不会。让GPT帮你写！

本文学习 LangChain 中的 数据连接（Retrieval） 模块。该模块提供文档加载、切分，向量存储、检索等操作的封装。最后，结合RAG基本流程、LangChain Prompt模板和输入输出模块，我们将利用LangChain实现RAG的基本流程。

LangChain的输入输出模块的封装，包括Prompt模板、大模型接口、输出解析器的封装。本文带你全面学习这些模块，通过介绍+实战，对这些模块的用法和作用有深刻的认识。

LangChain是一个面向大模型的开发框架（SDK）。本文对 LangChain 系列开个头，介绍了其架构，并用LangChain写了第一个程序。

前面我们实现了RAG基本流程，今天我们在此基础上给它加个UI界面，在浏览器打开，实现上传本地文件、解析，并用大模型实现与该文档的对话。也就是一个阉割版demo版的ChatPDF或知识库对话系统。

大模型也不是万能的，也有局限性。RAG是提高大模型在垂直领域能力和减少幻觉的通用方法论，非常重要和有用。本文带你动手实现一个最简单的RAG应用，你将学会一个标准RAG的通用流程和原理。

现在可以使用大模型帮我们写爬虫代码了。要想让大模型写爬虫代码，我们需要给大模型几个网页元素的例子。而一般网页元素中的数据非常多，会对大模型造成干扰，甚至超过大模型的token限制，导致大模型无法生成正确的爬虫程序。这时候，我们可以通过下面的代码对Html内容进行精简（不用懂原理，直接用就行，通用的，这个代码的作用是挑选出Html中的css元素，用css元素足以定位html里的元素）在此记录下，拿来即用。

我算是对数据库的SQL语句很不熟悉，只会简单的单表操作，还不熟练，每次都得查半天。现在有了大模型应用，有了Function Calling，再也不用查半天资料才写一个SQL了，还能熟练地用多表查询了！

Function Calling是大模型连接外部世界的通道，目前表现形式有Actions、插件、GPTs、Tools工具集等。本文带你看下Funtion Calling是什么，以及如何与大模型进行交互。

总结回顾一下MetaGPT入门课程内容和沉淀下自己的收获，同时把我的学习方法记下来，希望后来学习的人能从中获得一点点的灵感或方向。

订阅智能体进阶（2）。不用爬虫，直接提取网页信息。从RunSubscription分离出AddSubscriptionTask的action，并且让SubscriptionRunner单独运行。

零碎知识记录，pip install 和 conda install的区别，使用场景

MetaGPT多智能体间如何协作，消息如何传递？今天这篇文章，我们就来学习下MetaGPT中多智能体如何协作，深入源码，一层层剖析。多张流程图、概念图，保证你能看懂。

不会爬虫也能写爬虫程序，让大模型帮你完成。本文的步骤基本都是体力活，小白也能行。赶快去试试吧！

classmethod 与 @staticmethod这两个方法很容易混淆，因为使用时都是通过类名直接调用其方法，与实例无关。下面记录下两者的区别。

用户只需一句话，自然语言，就可以订阅专属于自己的信息。本文将实现订阅智能体进阶，实现一个更通用的订阅智能体。让大模型自己编程，自己实现用户需求。

Python+微信公众号，轻松实现固定格式的消息定向推送

纯实战，手把手教你用MetaGPT写一个小说生成助手，用户只需要输入两个字，它就能自动帮你生成5000多字的一篇小说。

手把手带你用MetaGPT的ActionNode模块重写技术文档助手

从0开始带你实现一个技术文档助手Agent，只需几个词，自动帮你写出一篇技术文档教程，目录、标题、概念、代码示例一应俱全。

细说在学习和使用MetaGPT过程中遇到的坑，总有一个坑适合你。

MetaGPT ActionNode基础和实战学习

记录一种从源码安装Python包的方式，可以让你直接断点到源码内，修改源码直接生效。使开发和调试更加方便高效！

通过MetaGPT实现一个订阅智能体，定时自动获取网络热点信息，然后经过自动总结，推送到指定的微信和邮箱中。整体流程使用这个订阅智能体自动实现，快来看看吧！

以MetaGPT入门课程的Task3 作业为例，来看下使用MetaGPT 实现Agent的思路。内附完整代码和细节注释。

智能体就是像人一样，能理解现实中的事务，有记忆，会思考，会总结，会学习，像人一样会规划，会决策，会使用各种工具来完成某项任务。多智能体，就像一个团队，大了说像我们现在生活的社会，每个智能体有自己的职能和领域，人与人之间通过协作，能完成更加复杂和庞大的目标。本文带你了解智能体如何重构世界，未来的世界长什么样。

MetaGPT智能体开发入门开课，跟着课程，学习MetaGPT智能体开发。本文为环境搭建和第一个MetaGPT程序。

Prompt典型构成、原则与技巧，以及OpenAI API重要参数解释，助你轻松入门Prompt

完善一下服务端用户消息处理程序。实现消息类型事件处理，用户关注微信公众号后自动回复欢迎语。

超简单解决方案：微信公众号服务器配置开启和自定义菜单共存（冲突解决），并实现特定关键字自动回复、非特定关键字ChatGPT对话功能。

本文将带你从0开始将ChatGPT接入微信公众号，实现与用户自主对话！超级详细！

Python xml格式化打印代码片段，拿来即用！

本文主要教你如何打通微信公众号用户与服务器的信息交流通道，超详细，代码注释齐全，可直接复制运行

超详细超多图的Python微信公众号开发教程，从0开始搭建开发环境，与微信公众号进行链接校验，能为你避免很多坑，少走很多弯路！

Windows11 Python环境搭建，主要介绍利用Anaconda搭建Python环境和开发

常用代码片段分享，拿来即用

Mac上pyCharm2021找不到已安装的库PyCharm --> Preferences…Python Interpreter --> 设置 --> Add按图示操作步骤找到你的python3可执行文件如果不知道python的安装路径，可以使用命令行 which python3 查看:OK...