npk191954的专栏

原创 通过 python 的 gdown 库下载 google drive 共享的文件或文件夹链接

pip install gdowngdown --folder 'SHARED_FOLDER_LINK'

原创 deepseek 本地部署

2. 下载安装 deepseek 模型。1. 安装 ollama。

原创 chrome 内存设置插件 memory saver

chrome 内存设置插件 memory saver，可以设置最高内存限制、检测内存使用量的时间间隔、将标签页设置为休眠状态的间隔时间。

原创 用 class 的方式编写 powershell

【代码】用 class 的方式编写 powershell。

原创 celery 结合 rabbitmq 使用时，celery 消费者执行时间太久发送 ack 消息失败

这种情况下，添加对执行结果的 redis 缓存，每次执行消费任务时先检查结果是否已经存在（由唯一键来确定是同一个任务），每次执行完消费任务将结果添加进 redis 缓存再发送 ack 消息，这样来避开同一个执行时间比较久的任务不断重复消费。

原创 nginx 代理 https 服务器接收 http 请求

【代码】nginx 代理 https 服务器接收 http 请求。

原创 joblib 使用线程池并行处理，对函数结果进行缓存

joblib 可以用于对函数结果进行缓存。joblib 使用线程池并行处理；

原创 使用 fastapi 的 BackgroundTasks 执行后台任务

【代码】使用 fastapi 的 BackgroundTasks 执行后台任务。

原创 fastapi 结合 celery 将异步过程转变为同步过程

【代码】fastapi 结合 celery 将异步过程转变为同步过程。

原创 通过 sudo 使用 sed 在文本文件内匹配行的上方插入文本

【代码】通过 sudo 使用 sed 在文本文件内匹配行的上方插入文本。

原创 centos 中使用 kubekey 安装 k8s v1.22.12 支持 GPU 调用

https://blog.csdn.net/m0_64519023/article/details/138184970中间需要执行 ./kk create config --with-kubernetes v1.22.12 这个命令生成配置文件，保留生成的配置文件中 spec: hosts 下的 node1，将它的 address 改为与宿主机局域网 ip 前 24 位相同、后 8 位不同的 ip，如 {name: node1, address: 172.17.16.1, internalAddress:

原创 Dockerfile 里 ENTRYPOINT 和 CMD 的区别

在 Dockerfile 中同时设计 CMD 和 ENTRYPOINT 是为了提供更灵活的容器启动方式。ENTRYPOINT 定义了容器启动时要执行的命令，而 CMD 则提供了默认参数。通过结合使用这两个指令，可以在启动容器时灵活地指定额外的参数，而不需要修改 Dockerfile。在这个例子中，当容器启动时会执行命令。但是，如果在启动容器时提供了额外的参数，如，则会执行命令。

原创 使用独立的 centos 7 安装软件后 commit 为新的镜像并自启动进程

在 docker run 命令中添加 --privileged=true 参数，表示以特权模式运行容器，特权模式允许容器内的进程拥有与宿主机相同的权限，这样就可以执行一些需要特权的任务。当我们在容器内执行需要特权的 /usr/sbin/init （这个文件软链接到 /lib/systemd/systemd，/lib/systemd/systemd 可以管理所有系统资源，即 systemctl）命令时，容器内的进程会以宿主机的 init 进程为父进程，从而能够正常自启动和管理系统服务。

原创 OpenResty 操作 Redis 和 MySQL

在 OpenResty 中，可以使用 Lua 脚本通过 Redis 和 MySQL 的 Lua 库 lua-resty-redis、lua-resty-mysql 来操作这两个数据库。3. 连接 Redis 数据库，例如 `local red = redis:new()`，然后使用 `connect` 方法连接到 Redis 数据库。3. 连接 MySQL 数据库，例如 `local db = mysql:new()`，然后使用 `connect` 方法连接到 MySQL 数据库。

原创 flask + celery + redis + flower

启动：celery -A app.client worker --loglevel=info --autoscale=5,1。启动：celery --broker=redis://localhost:6379/0 flower --port=8080。启动：docker run -d -p 6379:6379 redis。包含 app.py，config.py。

原创 Innodb 行锁的实现方式及在各隔离级别下的使用

而在事务隔离级别 RC 模式下，Innodb 只会启用记录锁（只会锁住相应的行，如果查询条件的字段存在索引，记录锁会优先对索引加锁，否则对主键加锁），没有启用间隙锁和临键锁，所以不能解决幻读问题。由于在事务隔离级别 RC 模式下没有启用间隙锁和临键锁，也就不会出现多条不相关的记录被锁住的情况，大大减少了出现锁竞争的场景，所以在 RC 事务隔离级别下的并发性能要比在 RR 事务隔离下更好。不同隔离级别下加锁情况：https://juejin.cn/post/7129344329830629389。

原创 mybatisx 插件模板

【代码】mybatisx 插件模板。

原创 cmd 后台循环运行进程

REM 递归调用自身脚本。REM 后台进程运行。REM 后台进程运行。

原创 nodejs 异步函数加 await 和不加 await 的区别

当一个异步函数加上 await 时，它会暂停当前函数的执行，直到异步操作完成并返回结果。这意味着可以直接使用异步操作的结果，而不需要使用。当一个异步函数不加 await 时，它会立即返回一个 Promise 对象，而不会等待异步操作完成。在 nodejs 中，异步函数加上 await 和不加 await 的区别在于函数的返回值。来处理异步操作的结果。

原创 使用 pyqpanda 编程量子计算

【代码】使用 pyqpanda 编程量子计算。

原创 KISS 复盘法

这将把你原本并不擅长的事情通过一步一步迭代优化，变成自己的强项，你会发现子的长板就会比别人多得多。这将帮助你聚焦那些那还未有过的经验和能力，让你有机会重新建立，别人拥有的，你也会拥有，让你更加全面。复盘对自己心态、行为、想法不利的立即停止，避免再次犯错，这将帮助你了解自己的短板和缺点，通过及时拔除、止损；不断完善自己的短板。这将能最大利用你的长板，经多次积累，将其发挥到极致，成他人无法超越的长板。KISS复盘方法，用于促进下一次活动更好的展开，常被应用于活动策划落地执行或者项目执行结束后总结使用。

原创 执行域可以是多个问题域的抽象

我们可以定义一个“旅行计划”的执行域,它抽象并集成了这些子问题域,以支持端到端的旅行计划服务。在该执行域下,助手可以利用各个子问题域(交通、住宿等)的专业知识和技能,但以一种协调和集成的方式来解决整个旅行计划问题。这使助手能够在执行域的层次上思考和运作,而不是被限制在某个狭隘的问题域中。通过定义一个更高层次的执行域,可以将这些子问题集成在一起,以支持解决整个复杂问题。总之,执行域的抽象让我们能够在更高的层次上思考和定义问题,将多个相关的问题域集成到一起,以支持解决实际中的复杂问题。

原创 查准率（precision，也叫精确率）和查全率（recall，也叫召回率）

比如极端情况下，我们只搜索出了一个结果，且是精确的，那么Precision就是100%，但是Recall就很低；一般来说，Precision就是检索出来的条目（比如：文档、网页等）有多少是精确的，Recall就是所有精确的条目有多少被检索出来了。3. F值 = 精确率 * 召回率 * 2 / (精确率 + 召回率) （F 值即为精确率和召回率的调和平均值）精确率、召回率和 F 值是在鱼龙混杂的环境中，选出目标的重要评价指标。召回率是指检索出的相关文档数和文档库中所有的相关文档数的比率，衡量的是检索系统的。

原创 亚马逊六页纸

结论1：XXXXXXXXXXXX // 负责人：XXX结论2：XXXXXXXXXXXX // 负责人：XXX结论3：XXXXXXXXXXXX // 负责人：XXX待办1：// 负责人XX，完成时间待办2：// 负责人XX，完成时间待办3：// 负责人XX，完成时间6 页纸的备忘录比 20 页的 PPT 难写，原因是好的备忘录的叙述结构迫使你有更好的思考，对“什么东西更重要”以及“哪些东西是相关的”有更好的理解。

原创 世界上最有名的十大思想实验

思想实验，哲学家或科学家们常常用它来论证一些容易让人感到迷惑的理念或假说，主要用于哲学或理论物理学等较为抽象的学科，因为这类实验往往难以在现实世界中开展。这些实验看似简单，其间却蕴含着很多“剪不断、理还乱”的哲理。它们就像是一顿丰盛的精神盛宴，等待餐客前来饕餮。然而，这类盛宴往往菜式复杂，并非人人都能“饱餐一顿”。因此，我们列出世界上最有名的十大思想实验，并在哲学、科学或伦理方面对这些实验进行了阐释：10.电车难题（TheTrolleyProblem）

原创 Spring Cloud Gateway

2. The Before Route Predicate Factory3. The Between Route Predicate Factory4. The Cookie Route Predicate Factory 5. The Header Route Predicate Factory 6. The Host Route Predicate Factory 7. The Method Route Predic

原创 马斯洛的动机与人格、需求层次理论

因为前者需要的满足基于物质条件的满足，需要持续不断的被满足给人带来的幸福感是递减的，比如说你口渴，吃了一个梨，你很开心，但是连续吃两个，三个，十个，带来的幸福感会逐渐降低；实验中，凯解散了原来的装配线，改为6至7人的生产小组，每一个小组都要学习生产过程的每一个方面，并参与管理。即，当我处于饥饿状态时，影响我的主要是进食的需求，非常饿的状态下，我的思想和全部注意力可能都会被食物所吸引，但并不代表其他需求并不存在，只是说其他需求处于相对弱势，而食物上的，生理上的需求处于主导地位。

原创 十张图带你回顾架构活动的完整过程

原创 敏捷管理的4价值观12准则

其实对于每个人来说，对于事物的认知往往都是需要一个过程的，产品开发也是一样，客户在刚开始的时候并不能给出明确的要求，而是在我们产品开发的过程中才会逐渐清晰，而且往往后期所提的需求是更具竞争力的，因为到了后期客户才真正明白他想要的是什么，所以我们要善于接受需求的变更，才能帮助客户提供更具竞争力的产品，给客户创造更大的价值。对于自组织团队，首先要能够做到自我组织、自我管理，对于团队中的问题，我们能够自行做出决策，这样才是一个成熟的团队，如果达不到自组织的程度，那么对于团队的敏捷性将大打折扣。

原创 9 种方法使用 Amazon CodeWhisperer 快速构建应用

Amazon CodeWhisperer 是一款很赞的生成式人工智能编程工具。自从在工作中使用了 CodeWhisperer，我发现不仅代码编译的效率有所提高，应用开发的工作也变得快乐起来。然而，任何生成式 AI 工具的有效学习都需要初学者要有接受新工作方式的心态和意愿。作为一名早期的“探索者”，我发现了几个对我很有用的功能和可以提高生产效率的小技巧，将在这篇文章中和大家分享：减少输入函数生成类的生成算法的实现单元测试的编写创建示例数据简化正则表达式更快地学习第三方代码库代码的文档化。

原创 使用 Elasticsearch RestHighLevelClient 查询 Elasticsearch

【代码】使用 Elasticsearch RestHighLevelClient 查询 Elasticsearch。

原创 Elasticsearch RestHighLevelClient 完整的各种查询

​​​​​​Elasticsearch Java High Level Rest Client API 主要分为：全文查询 api，词项查询 api，特殊查询 api。（按照聚合查询 api 和使用生成的建议查询 api 也算少数的特殊查询 api。）https://blog.csdn.net/qq_42647903/article/details/120178755

原创 Flink 的 Kafka Table API Connector

Flink DataStream Connectors和Table API Connectors是Flink中用于连接外部数据源的两种不同的连接器。

原创 AIGC来了，品牌方开始要求降价｜AI重塑未来营销

在AI时代，品牌需要找到自己的最大公约数，结合AI与人的智慧协作。此外，营销内容的个性化需要结合消费者的需求和行为进行精准定位和推送，而过度精准投放可能会导致市场细分，限制品牌的成长和发展。因此，品牌在内容制作中需要兼顾个性化和模糊投放，以扩大受众范围和塑造公众品牌形象。在AI时代，内容生产者需要找到自己的优势和独特性，寻找最大公约数，并结合人类智慧与AI协作。未来，人与AI的协作将改变工作和生活方式，每个人可能成为一个小型公司，AI将成为强有力的助手，人们将成为超级个体，拥有更多的自由和创造力。

原创 人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法

SFT监督微调时监督微调时，学习率通常会设置得很小常见误区：1.监督微调需要大量的训练时间和数据 2.监督微调将复制源模型的所有参数至目标模型 3.监督微调只需要几十条监督数据即可监督微调常见任务：1.用中文预训练BERT模型完成中文实体识别任务 2.训练语言模型GPT3 3.UIE模型在垂直领域的数据集上微调常见误区：在ImageNet上的预训练的模型再来训练目标检测任务 （则不是）目前，主流的SFT监督方法包括：LoRA、P-tuning v2、Freeze。

原创 ChatGPT 背后的“功臣”——RLHF 技术详解

这个过程中一个有趣的产物是目前成功的 RLHF 系统使用了和生成模型具有 不同 大小的 LM (例如 OpenAI 使用了 175B 的 LM 和 6B 的 RM，Anthropic 使用的 LM 和 RM 从 10B 到 52B 大小不等，DeepMind 使用了 70B 的 Chinchilla 模型分别作为 LM 和 RM)。OpenAI 推出的 ChatGPT 对话模型掀起了新的 AI 热潮，它面对多种多样的问题对答如流，似乎已经打破了机器和人的边界。) 也适用于当前 RL 的优化。

原创 InstructGPT：彻底改变人工智能驱动的语言模型

但就像它的老兄弟一样，它并不完美，有时会产生不正确或无意义的响应，与人类的意图或期望的行为不符。由于所谓的 InstructGPT 语言模型的进步，它在极短的时间内取得了长足的进步。从 GPT-1、GPT-2 和 GPT-3 等模型演变的根源，到当前的功能和潜在应用，InstructGPT 是真正的游戏规则改变者。从本质上讲，Instruct GPT 的运行原理与其他 GPT 语言模型相同：它接受大量文本数据的训练，并使用这种训练根据收到的输入生成文本。他们编造事实的频率也较低，产出的毒性也较小。

原创 使用 Huggingface 通过 text-to-image 的文本方式生成图像

AIGC指人工智能生成创造力（Artificial Intelligence Generated Creativity，AIGC），是一个涵盖多个领域的跨学科领域，它将人工智能和计算机科学与创造力和艺术结合起来，旨在通过算法生成具有创造力和艺术性的作品，例如图像、音乐、文本等。Hugging Face社区致力于推动NLP技术的发展，为NLP研究人员、开发者和爱好者提供高质量的NLP工具和模型。导入模型后，建立想要生成图片的文本信息，将文本信息输入模型即可完成文本图像的生成。

原创 LlamaIndex 提供的索引

尽管LlamaIndex和LangChain在它们的主要卖点上有很多重叠，即数据增强的摘要和问答，但它们也有一些区别。LangChain提供了更细粒度的控制，并覆盖了更广泛的用例。然而，LlamaIndex的一个很大的优势是能够创建层次化的索引，这在语料库增长到一定大小时非常有帮助。LlamaIndex的重点放在了Index上，也就是通过各种方式为文本建立索引，有通过LLM的，也有很多并非和LLM相关的。可以根据你的应用组合两个，总的来说，这两个有用的库都很新，还在发展阶段，每周或每月都会有比较大的更新。

原创 使用 LangChain 和 DeepInfra 构建用于支持客户的聊天机器人

随着我们的前进，这些技术的潜力确实是巨大的，我期待看到它们将如何继续发展并影响客户服务领域。它有助于维护聊天机器人交互中的上下文和历史记录，使聊天机器人能够回忆过去的对话并了解当前对话的上下文。最后，短期记忆在交互过程中维护状态，使聊天机器人能够记住过去的对话并使用它们来理解当前对话的上下文。聊天机器人，特别是在客户支持领域，已成为现代企业的重要组成部分，可以在提高效率的同时增强客户服务。您可以自由地搜索、过滤和排序 AI 模型，以找到最适合您的项目的模型。最后，您现在可以与聊天机器人进行交互。