人工智能
文章平均质量分 65
关于AI、大语言模式等
太空眼睛
80后Java程序员,已掌握Java技术栈:K8s、SpringBoot、SpringCloud、Gateway、Kong、Nginx、Dubbo、Liteflow、Nacos、Eureka、ZooKeeper、Mybatis、PostgreSQL、Mysql、Mongodb、Redis、ElasticSearch、RocketMQ、RabbitMQ、Netty、RestTemplate、LLM、ChatGLM系列、FunASR、TTS、DreamTalk、SadTalker、Jenkins等等。
工作近20年,接下来,希望通过博客的方式记录下来,分享不断学习、不断超越、不断积累的历程。
展开
-
【微信机器人】效果展示
本项目仅供技术研究,请勿用于非法用途,如有任何人凭此做何非法事情,均于作者无关,特此声明。原创 2024-03-29 12:16:14 · 329 阅读 · 0 评论 -
【Langchain-Chatchat】部署ChatGLM3-6B-32K教程
以下列出需要修改的配置文件中的配置参数,根据参数名在配置文件在搜索。按照下列方式初始化自己的知识库和简单的复制配置文件。按照以下命令启动项目。原创 2024-03-23 17:49:03 · 1623 阅读 · 0 评论 -
【Docker】安装nvidia-container-runtime
这是由于服务器缺少 docker 使用 GPU 的 nvidia 的工具包支持,要使 docker 容器能调用本地的 gpu。原创 2024-03-08 10:33:31 · 1458 阅读 · 0 评论 -
【Python】环境管理怎么选择【virtualenv】【pipenv】【 poetry】【 conda】
刚入门Python,看到PyCharm的环境管理选择有好几个选择,pipenvvenvconda,只知道这些都可以用来管理Python环境的,但不知道这些环境有什么区别,所以,本文将对这些环境管理进行总结。原创 2024-03-03 13:38:43 · 1307 阅读 · 0 评论 -
【SadTalker】源码部署&搭建HTTP服务
提供HTTP接口,就能方便被其它系统调用了,编写一个。如果使用CPU运行,则加上。原创 2024-02-29 14:17:39 · 1086 阅读 · 2 评论 -
【Linux】安装ffmpeg
安装ffmpeg,需要先安装依赖:SDL2yasmx264freetype。原创 2024-02-20 15:44:42 · 701 阅读 · 0 评论 -
【语音合成】中文-多情感领域-16k-多发音人
声学模型则基于语言学特征和时长信息预测声学特征;后端模块中声码器采用HIFI-GAN, 基于GAN的方式利用判别器(Discriminator)来指导声码器(即生成器Generator)的训练,相较于经典的自回归式逐样本点CE训练, 训练方式更加自然,在生成效率和效果上具有明显的优势。在HIFI-GAN开源工作[1]的基础上,我们针对16k, 48k采样率下的模型结构进行了调优设计,并提供了基于因果卷积的低时延流式生成和chunk流式生成机制,可与声学模型配合支持CPU、GPU等硬件条件下的实时流式合成。原创 2024-02-06 16:09:23 · 1105 阅读 · 0 评论 -
【ChatGLM3】微调指南
除基础的 torch 依赖外,示例代码运行还需要依赖: 处理数据集格式处理后的数据: 开始微调: 参数调整参考数据量 x x 10050010003000100000100000训练完成后,的路径在: 下载数据集AdvertiseGen从清华大学网站下载处理数据集格式开始训练: 加载PT训练的checkpoint加载训练微调后的的关键代码原创 2024-01-09 11:56:20 · 2553 阅读 · 2 评论 -
【FunASR】Paraformer语音识别-中文-通用-16k-离线-large-onnx
GitHub源码地址:FunASR是由阿里巴巴通义实验室语音团队开源的一款语音识别基础框架,集成了语音端点检测、语音识别、标点断句等领域的工业级别模型,吸引了众多开发者参与体验和开发。为了解决工业落地的最后一公里,将模型集成到业务中去,我们开发了社区软件包。中文离线文件转写服务(CPU版本),已完成中文流式语音识别服务(CPU版本),已完成英文离线文件转写服务(CPU版本),已完成中文离线文件转写服务(GPU版本),进行中更多支持中。原创 2023-12-15 09:23:30 · 4669 阅读 · 0 评论 -
【ChatGLM3】第三代大语言模型多GPU部署指南
经过测试对比,ChatGLM3比ChatGLM2强大了很多很多,可以在一定程度上满足商用ChatGLM系列大模型的迭代速度还是比较快的,可以感受到研究人员的努力一款优秀的具有自主知识产权的国产大模型,数据安全有保障,有活跃的社区,有越来越丰富的文档资料希望ChatGLM可以早日超越ChatGPT。原创 2023-12-08 10:54:12 · 5564 阅读 · 6 评论 -
【ChatGLM2-6B】问题解决cannot import name ‘Doc‘ from ‘typing_extensions‘
在运行ChatGLM2-6B大语言模型和使用P-Tuning训练的时候,出现如下错误。原创 2023-11-02 16:54:02 · 5788 阅读 · 0 评论 -
【ChatGLM2-6B】P-Tuning训练微调
本仓库实现了对于 ChatGLM2-6B 模型基于 P-Tuning v2 的微调。P-Tuning v2 将需要微调的参数量减少到原来的 0.1%,再通过模型量化、Gradient Checkpoint 等方法,最低只需要 7GB 显存即可运行。原创 2023-11-02 16:07:43 · 295 阅读 · 0 评论 -
【ChatGLM2-6B】从0到1部署GPU版本
如果显卡驱动选的CUDA是其它版本,就修改pytorch-cuda的版本号与驱动保持一致,显卡驱动和pytorch版本要保持一致才不会出现兼容性问题。注:接下来所有的操作都在新的终端中完成,命令行最左边,出现(base)字样,代表anaconda已启动。在国内无法正常访问,我们可以从清华大学源下载,本文从阿里云。在ChatGLM2-6B目录下创建THUDM目录。的安装位置,比如/home/anaconda3。也可以输入其它路径做为。原创 2023-10-31 09:58:46 · 1046 阅读 · 0 评论 -
【ChatGLM2-6B】nginx转发配置
以上是一步一步摸索出来的,研究成果来之不易任何看似简单的东西,动手实践后,才能理解的更加深刻终于对有了一定的了解,还会继续对大语言模型进行训练和微调,与君共勉。原创 2023-10-21 13:44:14 · 928 阅读 · 1 评论 -
【ChatGLM2-6B】在只有CPU的Linux服务器上进行部署
如果机器的内存资源不多,命令行交互模式、可视化模式、API模式,通常只能运行一种再启动另外一个脚本时,会导致前一个启动的进行被killedChatGLM2在多个中文数据集上测试结果优于GPT,比上代版本ChatGLM1有较大改善,受限于训练数据和资源,从实际效果看推理对话内容仍比较简单,本次部署在云端的CPU,推理过程需要几分钟,甚至十几分钟,不过重在体验,看下效果。有兴趣的话使用GPU能够较大程度提高反应速度,几秒就能给出答案。原创 2023-10-18 14:43:34 · 903 阅读 · 0 评论