- 博客(16)
- 收藏
- 关注
RSS订阅原创 小说python爬取实践记录（后续更新中）
解决问题：网上很多案例仅爬取章节链接，没有考虑有些网站前端有倒叙章节。下面代码可以实现去除倒叙章节，从第一章开始爬取。仅需要改写代码中的 url = f'https://www.biqooge.com/3_3341/'1、爬虫代码运行暂停使用ctrl+c。
2024-09-07 21:12:33
225
原创 MindSearch 部署到Github Codespace 和 Hugging Face Space
打开，选择blank template。浏览器会自动在新的页面打开一个web版的vscode。创建一个 conda 环境来安装相关依赖。
2024-08-26 21:50:28
684
4
原创 LMDeploy 量化部署实践闯关任务
模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、kv cache占用的显存，以及中间运算结果占用的显存。随着模型变得越来越大，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。断开tmux会话：按住ctrl+b，然后d键，可以从tmux会话中断开，但会话和其中的程序会继续运行。针对InternVL系列模型，让我们先进入conda环境，并输入以下指令，执行模型的量化工作。在最新的版本中，LMDeploy使用的是AWQ算法，能够实现模型的4bit权重量化。
2024-08-25 09:13:23
610
原创 Lagent 自定义你的 Agent 智能体
实现一个调用 MagicMaker API 以完成文生图的功能：首先，先来创建工具文件；然后，进入最后，我们修改来适配我们的自定义工具。
2024-08-19 00:13:34
199
1
原创 探索 InternLM 模型能力边界
在中选择双模型对话，与InternLM2.5及另外任意其他模型对话，收集InternLM2.5 输出结果不如其他模型的对话案例，以及 InternLM2.5 的Good Case，
2024-08-18 18:59:33
770
原创 使用 OpenCompass 来评测 InternLM2 1.8B实践
在 OpenCompass 中评估一个模型通常包括以下几个阶段：配置 -> 推理 -> 评估 -> 可视化。
2024-08-18 08:42:16
373
原创 学习并实践XTuner微调个人小助手认知
访问时，实际上就是在访问目录下的内容。通过这种方式，我们无需复制任何数据，就可以直接利用现有的模型文件进行后续的微调操作，从而节省存储空间并简化文件管理。
2024-08-10 20:52:42
151
原创 llamaindex+Internlm2 RAG实践
使用 LlamaIndex 运行 InternLM-2 1.8B 模型，并实现知识库的构建与检索运行conda命令，激活llamaindex然后安装相关基础依赖虚拟环境，安装 Llamaindex和相关的包，源词向量模型在使用开源词向量模型构建开源词向量的时候，需要用到第三方库nltk的一些资源。正常情况下，其会自动从互联网上下载，但可能由于网络原因会导致下载中断，此处我们可以从国内仓库镜像地址下载相关资源，保存到服务器上。用以下命令下载 nltk 资源并解压到服务器上。
2024-08-09 10:55:06
211
原创 学习LangGPT结构化提示词，完成基础任务
整数部分相同的，小数部分的十分位上的数字大这个数就大；以此类推，比较下一个相同数位上数字的大小，直到比出大小。：近期相关研究发现，LLM在对比浮点数字时表现不佳，经验证，internlm2-chat-1.8b (internlm2-chat-7b)也存在这一问题，例如认为。作为一名数学逻辑专家，我会严格遵循上述规则和流程，确保提供给你的每一个答案都是准确无误的。现在，请告诉我你的问题，让我们一起探索数学的奥秘吧！- 比较浮点数大小时，若整数部分相同且浮点数第一位数不同，则浮点数大小由第一位数大小决定。
2024-08-09 09:14:57
364
原创 InternLM2学习与应用
目前InternLM2根据不同的需求，有InternLM2-7B和InternLM2-20B规格，每个规格包含三个模型版本，InternLM2-Base、InternLM2、InternLM2-Chat，都在社区内已经开源。InternLM2：在Base基础上，在多个能力进行了强化，评测过程中表现优异，保持了很好的通用语言能力，官方推荐在大部分应用中考虑选用的优秀基座。InternLM2-Chat：经过了SFT和RLHF，面向对话交互进行看优化，具有很好的指令遵循、共情聊天和调用工具的能力。
2024-08-07 14:57:25
299
原创 Cli Demo、Streamlit Web Demo部署 InternLM2-Chat-1.8B 模型
使用 Cli Demo 完成 InternLM2-Chat-1.8B 模型的部署，并生成 300 字小故事，记录复现过程并截图。
2024-08-05 11:12:38
353
原创 python实现wordcount函数，以及开发机体验debug的全流程
pip install debugpy安装一下，运行python -m debugpy --listen 5678 --wait-for-client ./myscript.py。请使用本地vscode连接远程开发机，将上面你写的wordcount函数在开发机上进行debug，体验debug的全流程，并完成一份debug笔记(需要截图)。解决：python2.X不会报错，而Python3.X会报错，因为Python3.X中去除了iteritems()将iteritems()替换为items()
2024-08-02 19:29:28
327
原创 spss数据分析
多选题答案怎么进行SPSS数据分析@Cronbach’s Alpha信度检验KMO和Bartlett球检验@样本数据的频率统计与直方图@Pearson相关系数与线性回归分析。
2024-04-28 21:04:47
439
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人