项目开发
文章平均质量分 88
项目开发
bw876720687
热爱生活,努力学习
展开
-
项目开发--基于docker实现模型容器化服务
通常,工作流程是先使用 docker-compose build 构建镜像,然后使用 docker-compose up -d 启动容器。启动时,Docker Compose 会创建或启动 docker-compose.yml 文件中定义的服务容器,并将它们连接到指定的网络和卷(volumes)。使用 pickle 可能无法正确保存模型的结构,特别是如果模型定义在保存和加载时不可见(例如,模型定义在某个特定的脚本中,而该脚本在加载模型时未被执行)。如果不使用 -d,容器会在前台运行,日志会输出到你的终端。原创 2024-10-12 10:08:27 · 1105 阅读 · 1 评论 -
项目开发--大模型--个人问答知识库
在 LangChain 中,链(chain)可以根据需要变得非常长,并且可以包含多种不同类型的组件。链的目的是将多个步骤串联起来,以便以特定的顺序执行,从而处理复杂的任务。在这个例子中,链不仅包括了提示、模型调用和输出解析,还加入了缓存检查、输出验证、文本摘要和通知发送。记住,链中的每个组件都应该实现 Runnable 接口,并且具有 invoke 方法,这样才能确保它们可以被串联起来执行。后处理(Post-Processing): 对 LLM 输出进行额外的处理,如文本摘要、翻译或数据格式化。原创 2024-10-09 10:08:47 · 204 阅读 · 0 评论 -
项目开发--fastapi框架入门
#背景1、fastapi的同步和异步是如何进行控制的?2、主要的参数有哪些?3、RESTful的API设计规范是什么?4、什么是路由?5、关于序列化和反序列化如何才能像java一样便捷?6、HTTP cookies有什么设计规范?7、FastAPI的特性?8、依赖注入是什么?9、什么叫依赖倒置原则?10、Fastapi当中的中间件有哪些?作用是什么?原创 2024-09-02 14:50:07 · 761 阅读 · 0 评论 -
项目开发--基于Git的代码版本管理
这个错误信息表明你在尝试将本地的更改推送到远程GitHub仓库时,远程仓库包含一些你的本地仓库没有的提交。这通常发生在其他人已经向远程仓库推送了新的更改,而你本地的仓库还没有更新这些更改。如果在过程中遇到任何问题,可以查看Git或GitHub的帮助文档,或者搜索具体的错误信息来找到解决方案。–force-with-lease 选项会在远程分支没有新的提交时才允许强制推送,这可以防止覆盖其他人的工作。提示:缺省的配置项。暂存本地修改,更新远程库的内容到本地,再恢复出刚才暂存的修改,最后处理内容冲突。原创 2024-09-14 13:47:49 · 691 阅读 · 0 评论 -
项目开发--云计算--基于docker容器爬虫数据持久化到mysql
来结束命令,然后按回车键执行。如果你使用的是具有不同权限的用户,可能需要进行相应的调整。这里some-mysql是容器的名字,MYSQL_ROOT_PASSWORD是MySQL root用户的密码,-d表示后台运行,mysql:tag是Docker Hub上的MySQL镜像和标签,你可以替换为你需要的版本。这里new-mysql-container是新容器的名字,MYSQL_ROOT_PASSWORD是新的root密码,-d表示后台运行,mysql:tag是MySQL镜像和标签,你可以替换为你需要的版本。原创 2024-08-21 22:18:39 · 1223 阅读 · 4 评论 -
项目开发--数据库--postgresql数据库操作
然而,出于安全考虑,你应该在安装后立即为 postgres 用户设置密码。如果你在设置密码或连接数据库时遇到问题,可以检查 PostgreSQL 的日志文件,通常位于 /var/log/postgresql/ 目录下,以获取更多信息。此外,确保你的 PostgreSQL 配置文件(通常位于 /etc/postgresql//main/ 目录下)中的认证设置是正确的。你可以使用 sudo 命令切换到 postgres 用户,因为 PostgreSQL 的服务和数据库通常以该用户身份运行。原创 2024-09-06 10:26:43 · 1028 阅读 · 0 评论 -
项目开发--线程池IO操作以及线程安全保证
值得注意的是,你定义了一个results [dict]作为返回值的处理和存放方式,而且全都是在写入过程当中,在url完全不一致的情况下可能不会出现任何问题。但是如果需要让这个代码有更强的普适性,我们需要思考,python当中的字典、DataFrame以及对数据库的同步操作当中,这些数据结构是否是线程安全的?在构建模型池之后需要对大量的数据进行批更新和同步,在这个过程当中会产生大量的请求访问和数据返回,并且由于数据之间的独立性。改进方式,在必要的位置增加lock锁,保证读写的线程是唯一的。原创 2024-08-16 15:18:25 · 348 阅读 · 0 评论 -
项目开发--python内置实用功能
如果你正在使用相对导入(例如 from . import initialize_sys_path),确保你的脚本被当作包的一部分来执行,而不是作为主程序。如果你尝试从同级的 .py 文件中直接调用 initialize_sys_path 函数,而没有通过 import 导入它,Python 解释器将无法识别这个函数。如果你的脚本是作为主程序运行的,尝试将其作为模块来运行,例如使用 python -m your_package.some_module。在使用时,需要谨慎,以避免不期望的行为。原创 2024-08-27 16:56:14 · 1074 阅读 · 0 评论 -
项目开发--基于PyPi的祖传代码打包更新
module1.py, module2.py 等:你的包的代码文件。setup.py:包含包的元数据和安装配置的脚本。README.md 应该提供关于包的基本信息,包括它的用途、安装说明、使用方法等。LICENSE 文件应该包含你的包的许可证的完整文本。README.md:包的说明文件,通常为Markdown格式。将代码打包并发布为可安装的程序包是一个涉及多个步骤的过程,但遵循上述指南将帮助你顺利完成。1、如何将代码打包成能够被pip install 的程序包,方便后续的使用和管理更新。原创 2024-08-23 11:30:23 · 254 阅读 · 0 评论