python
文章平均质量分 96
胡争辉
退休
展开
-
《书生·浦语大模型实战营》结业后练习:通过QLoRA的方式用Alpaca数据集对InternLM2-Chat-7B进行微调
《书生·浦语大模型实战营》荣获优秀学员第一节课《书生·浦语大模型全链路开源体系》第二节课《轻松玩转书生·浦语大模型趣味 Demo》第三节课《茴香豆:搭建你的 RAG 智能助理》第四节课《XTuner 微调 LLM:1.8B、多模态、Agent》第五节课《LMDeploy 量化部署 LLM 实践》第六节课《Lagent & AgentLego 智能体应用搭建》第七节课《OpenCompass 大模型评测实战》本文是通过QLoRA的方式用Alpaca数据集对InternLM2-Chat-7B微调原创 2024-05-17 23:18:55 · 1017 阅读 · 1 评论 -
《书生·浦语大模型实战营》第七节课《OpenCompass 大模型评测实战》实践笔记
2024年3月开始参加《书生·浦语大模型实战营》第一节课《书生·浦语大模型全链路开源体系》第二节课《轻松玩转书生·浦语大模型趣味 Demo》第三节课《茴香豆:搭建你的 RAG 智能助理》第四节课《XTuner 微调 LLM:1.8B、多模态、Agent》第五节课《LMDeploy 量化部署 LLM 实践》第六节课《Lagent & AgentLego 智能体应用搭建》这是《书生·浦语大模型实战营》第七节课《OpenCompass 大模型评测实战》实践笔记原创 2024-04-25 23:55:43 · 958 阅读 · 0 评论 -
《书生·浦语大模型实战营》第七节课《OpenCompass 大模型评测实战》课程笔记
2024年3月开始参加《书生·浦语大模型实战营》第一节课《书生·浦语大模型全链路开源体系》第二节课《轻松玩转书生·浦语大模型趣味 Demo》第三节课《茴香豆:搭建你的 RAG 智能助理》第四节课《XTuner 微调 LLM:1.8B、多模态、Agent》第五节课《LMDeploy 量化部署 LLM 实践》第六节课《Lagent & AgentLego 智能体应用搭建》这是《书生·浦语大模型实战营》第七节课《OpenCompass 大模型评测实战》课程笔记原创 2024-04-25 23:42:44 · 1125 阅读 · 0 评论 -
《书生·浦语大模型实战营》第六节课《Lagent & AgentLego 智能体应用搭建》实践笔记
2024年3月开始参加《书生·浦语大模型实战营》第一节课《书生·浦语大模型全链路开源体系》第二节课《轻松玩转书生·浦语大模型趣味 Demo》第三节课《茴香豆:搭建你的 RAG 智能助理》第四节课《XTuner 微调 LLM:1.8B、多模态、Agent》第五节课《LMDeploy 量化部署 LLM 实践》这是《书生·浦语大模型实战营》第六节课《Lagent & AgentLego 智能体应用搭建》实践笔记`Lagent` :轻量级智能体框架`AgentLego` :组装智能体“乐高”原创 2024-04-23 07:23:28 · 837 阅读 · 0 评论 -
《书生·浦语大模型实战营》第六节课《Lagent & AgentLego 智能体应用搭建》课程笔记
2024年3月开始参加《书生·浦语大模型实战营》第一节课《书生·浦语大模型全链路开源体系》第二节课《轻松玩转书生·浦语大模型趣味 Demo》第三节课《茴香豆:搭建你的 RAG 智能助理》第四节课《XTuner 微调 LLM:1.8B、多模态、Agent》第五节课《LMDeploy 量化部署 LLM 实践》这是第六节课《Lagent & AgentLego 智能体应用搭建》课程笔记`Lagent` :轻量级智能体框架`AgentLego` :组装智能体“乐高”原创 2024-04-23 06:52:26 · 896 阅读 · 0 评论 -
《书生·浦语大模型实战营》第五节课《LMDeploy 量化部署 LLM&VLM实战》实践笔记
2024年3月开始参加《书生·浦语大模型实战营》这是《书生·浦语大模型实战营》第五节课《LMDeploy 量化部署 LLM&VLM实战》实践笔记配置 `lmdeploy` 运行环境以命令行方式与 `InternLM2-Chat-1.8B` 模型对话设置 `KV Cache` 最大占用比例为 `0.4` ,开启 `W4A16` 量化,以命令行方式与模型对话以 `API Server` 方式启动 `lmdeploy` ,开启 `W4A16` 量化,调整 `KV Cache` 的占用比例为 `0.4`原创 2024-04-15 17:28:51 · 636 阅读 · 0 评论 -
《书生·浦语大模型实战营》第五节课《LMDeploy 量化部署 LLM&VLM实战》课程笔记
2024年3月开始参加《书生·浦语大模型实战营》这是《书生·浦语大模型实战营》第五节课《LMDeploy 量化部署 LLM&VLM实战》课程笔记- 大模型部署背景- 大模型部署方法- `LMDeploy` 简介- 动手实践环节- 在人工智能领域,模型部署是实现深度学习算法落地应用的关键步骤。简单来说,模型部署就是将训练好的深度学习模型在特定环境中运行的过程。最终模型都是要服务于实际业务场景的,这就牵扯到需要把模型部署到服务器,或者是移动端、边缘端。原创 2024-04-15 16:48:23 · 888 阅读 · 0 评论 -
《书生·浦语大模型实战营》第三节课《茴香豆:搭建你的 RAG 智能助理》实践笔记
`RAG` ( `Retrieval Augmented Generation` ) 是一种结合了检索( `Retrieval` ) 和生成 ( `Generation` ) 的技术,旨在通过利用**外部知识库**来增强大型语言模型 ( `LLMs` ) 的性能。它通过检索与用户输入相关的信息片段,并结合这些信息来生成更准确、更丰富的回答。通俗的讲,可以将 `RAG` 理解为一个搜索引擎,将用户输入的内容作为索引,在外部知识库中搜寻相关的内容,结合大语言模型的能力生成回答。原创 2024-04-12 20:21:50 · 755 阅读 · 0 评论 -
《书生·浦语大模型实战营》第三节课《茴香豆:搭建你的 RAG 智能助理》课程笔记
RAG) 是一种结合了检索(Retrieval) 和生成 (Generation) 的技术,旨在通过利用外部知识库来增强大型语言模型 (LLMs) 的性能。它通过检索与用户输入相关的信息片段,并结合这些信息来生成更准确、更丰富的回答。通俗的讲,可以将RAG理解为一个搜索引擎,将用户输入的内容作为索引,在外部知识库中搜寻相关的内容,结合大语言模型的能力生成回答。在这一部分中介绍了RAG的基本概念、原理、流程和发展过程中出现的三种范式,以及RAG的一些常用优化方法和与微调) 的比较。原创 2024-04-12 19:24:06 · 1030 阅读 · 0 评论 -
Anaconda 5.0.0 JupyterLab 0.27.0 中通过 SSH 访问远程 Linux 服务器
安全的安装Anaconda3 5.0.0 Windows x86_64。在Anaconda3 5.0.0 中安装 paramiko 包。导入 getpass 包,这个包用于交互式输入密码的时候不在屏幕回显输入内容,在 JupyterLab 中还能自动的显示密码框。导入 paramiko 包。服务器名称。服务器端口。输入用户名,使用 input 时能看到回显的用户名。输入密码,使用 getpass 时将隐藏回显。原创 2017-10-15 19:12:56 · 2427 阅读 · 0 评论 -
Anaconda 5.0.0 JupyterLab 0.27.0 中配置 plotly 支持
安全的安装Anaconda3 5.0.0 Windows x86_64。在 Anaconda 5.0.0 中安装 plotly。安装 NPM (Node Package Manager)。访问 Node.js 网站。下载符合系统的 Node.js 安装包,并安装。安装 JupyterLab 的 plotly 扩展。运行 Anaconda Prompt 命令行,运行 JupyterLab 的 plotly扩展安装命令原创 2017-10-14 22:04:09 · 2281 阅读 · 0 评论 -
基于 Anaconda3 5.0.0 JupyterLab 0.27.0 使用 ftplib 演示 IPv4 和 IPv6 上传文件和下载文件
导入 ftplib 库。导入 os 库。导入 sys 库。FTP 服务器的 IPv4 地址。FTP 服务器的 IPv6地址。FTP 服务的 端口。FTP 服务的 用户名。FTP 服务的 密码。上传的测试路径。测试文件直接使用 Python 的解释器。获取测试文件的文件名。创建一个 FTP 会话,用于 IPv4 方式连接 FTP 服务器。为了演示 FTP 的细节,设置显示更多的调试信息。原创 2017-10-14 13:35:55 · 1322 阅读 · 0 评论 -
Anaconda 5.0.0 JupyterLab 0.27.0 中使用 matplotlib basemap 绘制世界地图
Python 中最常用的绘图库是 matplotlib,Anaconda 5.0.0 中可以很方便的安装 matplotlib,matplotlib 的默认安装并不支持绘制地图,需要额外安装 basemap ,在 Anaconda 5.0.0 中搜索 basemap 可以找到,但是安装的时候会出现如图所示警告。从警告中可以看到,Anaconda 5.0.0 的默认环境的 Python 的版本是 3.6,原创 2017-10-31 12:24:25 · 3885 阅读 · 0 评论 -
在 Anaconda3 5.0.0 中安装 Plot.ly Dash
在 Anaconda3 5.0.0 中安装 Plot.ly Dash。plotly包可以直接在 Anaconda3 5.0.0 中安装。Anaconda3 5.0.0 中不包含 Dash 相关包,需要进入 Anaconda Prompt命令行安装。如果出错,也可以不指定版本。祖传祈福代码,因为是 Web 服务,有点长。运行 Web 服务。Web 服务启动将显示。原创 2017-10-21 13:33:18 · 5950 阅读 · 2 评论 -
基于Plot.ly Dash 使用 Python 开发交互式互动数据图
在 Anaconda3 5.0.0 中安装 Plot.ly Dash。导入 dash。导入 dash_core_components,本例中会用到 dash_core_components.Graph 用于显示数据图, dash_core_components.Slider 用于显示滑块。导入 dash_html_components,本例中使用 dash_html_components.Div 包裹原创 2017-10-28 20:15:42 · 12188 阅读 · 5 评论 -
Anaconda+5.0.0+JupyterLab+0.27.0+中matplotlib显示中文标签
使用 matplotlib 绘制数据图的时候可能会涉及到本地化显示,例如导入 locale 包。为了绘制数据图,导入 matplotlib.pyplot 包。本例中以日期为例,导入 datetime 包。为了以本地格式显示日期,设置地区,此处并未具体制定地区,而是使用 locale.LC_ALL ,从返回值可以看到是简体中文。为了正确显示中文,需要替换数据图绘制时所使用的字体。原创 2017-10-20 17:56:22 · 2255 阅读 · 2 评论 -
编辑docx中字符的一个方法
编辑docx中字符的一个方法遍历文档中的段落遍历段落中的run查找是否包含关键字符串深度复制段落中的内容清空段落中的内容遍历已复制的段落中的内容判断该run是否包含关键字符串按照关键字符串拆分该run判断是否为第一部分如果不是第一部分,则在段落中加入关键字符串并设置粗体在段落中加入被拆分的部分如果该run不包含关键字符串则直接加入段落原创 2017-08-20 18:24:05 · 1935 阅读 · 0 评论 -
使用python的BeautifulSoup库解析页面应选择适当容错能力的解析器
解析器 : html5lib安装 : pip install html5lib使用方法 : BeautifulSoup(markup, "html5lib")优势 : 最好的容错性优势 : 以浏览器的方式解析文档优势 : 生成HTML5格式的文档劣势 : 速度慢劣势 : 不依赖外部扩展原创 2017-08-21 12:44:40 · 1446 阅读 · 0 评论 -
python爬虫访问页面并显示图片
获取字符集获取返回字节数组按照字符集解码字节数组解析页面获取页面上所有的img标记获取img标记的src属性组合URL访问URL并保存临时文件打开临时文件在IPython环境下显示图片原创 2017-08-21 15:21:01 · 3361 阅读 · 2 评论 -
python tensorflow学习笔记(一)Hello World
python tensorflow学习笔记(一)Hello World导入tensorflow库OP_HELLO 的类型为 tensorflow.python.framework.ops.TensorSESSION 的类型为 tensorflow.python.client.session.Session输出结果为:b'Hello, Tensor Flow!'原创 2017-08-28 16:53:24 · 5717 阅读 · 2 评论 -
python tensorflow学习笔记(二)算数
定义一个常数 CONSTANT_A定义一个常数 CONSTANT_B创建一个回话输出 CONSTANT_A输出 CONSTANT_B计算 CONSTANT_A + CONSTANT_B计算 CONSTANT_A * CONSTANT_B原创 2017-08-28 18:25:59 · 712 阅读 · 0 评论 -
python tensorflow学习笔记(三)运算
定义一个占位符,类型为float64定义一个占位符,类型为float64定义一个加运算定义一个乘运算创建一个会话运行加运算运行乘运算原创 2017-08-28 19:44:57 · 554 阅读 · 0 评论 -
使用Python Selenium PhantomJS的XPath时应注意校验结果
Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等。这个工具的主要功能包括:测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建回归测试检验软件功能和用户原创 2017-09-22 19:49:55 · 1708 阅读 · 0 评论 -
安全的安装PyCharm 2017.2.3 社区版
访问 PyCharm 主页。访问 PyCharm下载页面。访问 PyCharm Windows 社区版页面。查看 PyCharm 2017.2.3 社区版程序下载地址。查看 PyCharm 2017.2.3 社区版校验文件下载地址。下载 PyCharm 2017.2.3 社区版程序。下载 PyCharm 2017.2.3 社区版校验文件。校验下载的程序。原创 2017-10-07 16:28:36 · 24180 阅读 · 0 评论 -
在 PyCharm 2017.2.3 中设置 Anaconda 5.0.0 中配置的多Python环境
运行 PyCharm 2017.2.3 会看到如图所示启动界面。单击 Configure 菜单,可以看到 Settings 菜单项。单击 Settings 菜单项,出现 Default Settings 对话框。在左侧可以看到 Project Interpreter 设置栏,单击 Project Interperter 设置栏。原创 2017-10-07 22:34:53 · 1386 阅读 · 0 评论 -
安全的安装Anaconda3 5.0.0 Windows x86_64
从前一个版本Anaconda3 4.4.0到Anaconda3 5.0.0,一个明显的变化就是公司名称和域名变化了,之前是Continuum.io,现在是Anaconda.com。访问 https://www.continuum.io/ 也会自动跳转到 https://www.anaconda.com/下载的网址为 https://www.anaconda.com/download/#windows原创 2017-10-03 14:28:49 · 25972 阅读 · 0 评论 -
Anaconda3 5.0.0中配置Python 3.6 + TensorFlow环境
启动“Anaconda3 5.0.0”在左侧选择Environments 单击“Channels”按钮单击“Add…”按钮输入中国科学技术大学的镜像https://mirrors.ustc.edu.cn/anaconda/pkgs/free 回车确认,等待验证镜像 验证后,单击“Update channels”确认。查询版本https://repo.continuum.io/pkgs/free原创 2017-10-03 20:42:20 · 3428 阅读 · 2 评论 -
Anaconda 5.0.0 JupyterLab 0.27.0 中配置多Python环境支持
Anaconda 5.0.0 中自带了 JupyterLab 0.27.0 版本,这是 Anacoda 中首次包含 JupyterLab ,Anaconda 的一个特点是可以在图形界面下所见即所得管理多 Python 环境。本文讲解如何让 JupyterLab 0.27.0 可以方便的使用在 Anaconda 5.0.0 中设置的环境。原创 2017-10-05 21:55:22 · 3191 阅读 · 0 评论 -
selenium爬虫需要注意检测页面加载和内容加载进度
为了清晰直观展现python严格要求的缩进,发表在博客上详细说明见注释# get 后等到页面加载完成后返回# 而直接操作页面就需要类似于下面的代码等待页面加载完成# 对于使用AJAX异步加载的页面来说,还需要类似于下面的代码检测AJAX加载的内容是否完成# 注意:这段程序没有考虑加载成功但是无内容的情况原创 2017-08-20 15:36:53 · 10000 阅读 · 0 评论