- 博客(60)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 在Mac m1运行ChatGLM3-6B cpu版本1-3秒出结果
输入内容：295个字，1.9秒开始出结果，这个速度接近T4。4.开启Metal for M1，安装chatglm-cpp。下载到/Users/xxx/chatglm3-6b。2.下载chatglm3-6b。
2023-11-10 09:45:49
221
原创 NeMo 声纹识别VPR-实战
p>请求序号: 请求序号：由调用方维护，建议使用uuid，调用后原样返回，用于标识请求和调用方存储识别结果。声纹要求：16K采样，单通道，小于10秒，支持格式：.wav/.mp3/.m4a/.amr。使用Titanet-L模型，不需要训练，可以直接针对中文/英文进行使用识别验证。原始声纹：代表坐席的声纹。开场声纹：登录坐席的声纹。
2023-08-15 11:54:12
215
原创 NeMo 中文ASR话者分离（说话人日志）实战
首先基于VAD（声音活动检测）的MarbleNet，分割声音片段，然后基于TitaNet-L提取话者特征，然后通过聚类区分话者，最后通过神经网络分离话者标签。话者分离或者叫说话人日志，主要是解决说话人什么时候说了什么的问题。典型的应用场景：多人会议、坐席销售/客服场景。speaker_1 ['诶前天跟我说的昨天跟我说十二期利率是多大']6、 引入原始的yaml配置文件。7、创建mainfest文件。10、创建ASR离线分离对象。8、设置使用到的管道模型。12、显示离线分离的结果。5、输出未分离前的波形。
2023-08-15 10:56:52
336
原创 NeMo中文/英文ASR模型微调训练实践
{"audio_filepath": "test.wav", "duration": 8.69, "text": "诶前天跟我说昨天跟我说十二期利率是多少工号幺九零八二六十二期的话零点八一万的话分十二期利息八十嘛"}s1 = "诶前天跟我说昨天跟我说十二期利率是多少工号幺九零八二六十二期的话零点八一万的话分十二期利息八十嘛"#指定正确答案。#['诶前天跟我说的昨天跟我说十二期利率是多少工号幺九零八二六零十二期的话零点八一万的话分十二期利息八十嘛']10.增加标点符号输出。7.保存训练好的模型。
2023-08-12 23:09:02
437
原创 Ubuntu20.04 arm64/amd64 离线安装nvidia-docker2
然后执行sudo dpkg -i *.deb 安装docker。2. 从在线的Ubuntu20.04上下载离线包。1.在在线的Ubuntu20.04上从。
2023-08-03 18:27:01
567
转载 梦中情炉-torchkeras
</a><a href="https://www.kaggle.com/lyhue1991/kerasmodel-wandb-example"><img src="https://kaggle.com/static/images/open-in-kaggle.svg" alt="Open In Kaggle"></a>
2023-07-13 18:28:54
134
原创 文生图-text2light-环境搭建
7.下载预训练模型到logs目录下（6. 终于可以执行命令了。2.创建并激活虚拟环境。5. 若cv2启动失败。8. 可以愉快的生成了。
2023-07-10 15:32:24
200
4
原创 Mac(M1Pro)下运行ChatGLM2
最近很多人都尝试在M1/M2芯片下跑chatglm/chatglm2，结果都不太理想，或者是说要32G内存才可以运行。本文使用cpu基于chatglm-cpp运行chatglm2的int4版本。开了多个网页及应用的情况下（包括chatglm2)，总体内存占用9G左右。chatglm2可以流畅的运行了。虚拟环境为python 3.10，使用conda 创建。1.安装brew，主要需要安装core及cask。4. 下载chatglm-cpp。8. 安装chatglm-cpp。3. 安装cmake。
2023-07-09 16:19:39
1831
2
转载 大模型落地加速工具-fastllm
model = llm.from_hf(model, tokenizer, dtype = "float16") # dtype支持 "float16", "int8", "int4"- 🚀 目前支持ChatGLM模型，各种LLAMA模型(ALPACA, VICUNA等)，BAICHUAN模型，MOSS模型。- 🚀 支持浮点模型（FP32), 半精度模型(FP16), 量化模型(INT8, INT4) 加速。转好的模型也可以导出到本地文件，之后可以直接读取，也可以使用fastllm cpp接口读取。
2023-07-07 17:06:11
982
原创 文生图Stable-diffusion-webui环境搭建
前提是你已经在本机搭建好了GPU运行环境，建议6G以上GPU，当然，CPU也可以运行，就是奇慢无比。7.Lora模型权重（cuteGirlMix4_v10，seeThroughSilhouette_v10）想自己生成AI美女吗？6.最重要的Stable-diffusion模型chillout（需要魔法上网）3.运行webui_user.bat自动安装（这个过程比较长哦）（中间会踩坑，需要自己爬起来）4. 中文版本（extensions扩展页面安装）5. 重要外挂（extensions扩展页面安装）
2023-06-06 13:09:22
488
原创 ChatGLM多轮对话微调-多轮对话训练数据的自动生成（标注）
通常使用大模型进行业务数据微调的时候，需要对历史对话数据进行细粒度的整理，比如：1-3轮对话数据的微调，以便模型能够学会多轮对话。这个时候需要对输入的数据进行数据增强，数据的方法很多，但个人认为对于样本比较少的对话，最有效的方式应该是人工进行标注，即人工写出输入数据prompt的各种可能的语义相似的样本来(根据对数据增强方式的理解，如：释义、采样和加噪)，有人说数据增强的方式怎么做也无法与人工标注的效果相比，只适合于写论文，这里不做评价和扩展。仅针对多轮对话进行1-3轮的对话数据自动标注说明。
2023-06-02 14:30:13
3379
5
原创 如何微调Chinese-Vicuna-7b模型
环境建议：使用谷歌云GCP，国内的云环境实在是太慢了哦。github慢，pip 慢，下载模型也慢。2. 准备数据 json/jsonl格式。
2023-05-19 17:40:31
1289
2
原创 使用Chatglm-6b微调催收问答对的尝试
10.在gpt容器中启动微调训练，根据数据量不同及GPU大小，有所不同，tesla T4 16 G 30个问答对大概要24小时。max_source_length及max_target_length 可以根据实际情况调整，对应的是输出和输出的长度。per_device_train_batch_size根据GPU大小进行调整，如：1，2，4，8，16等。8. 打开localhost:6006/lab，输入token，这样就可以方便的上传文件，修改代码了。9. 进入ptuning修改训练脚本train.sh。
2023-05-11 15:06:39
1369
7
原创 使用openai 微调催收问答对的尝试
3.准备训练及验证集文件，如：train.json, val.json，其中必须包含"prompt"和"completion"关键字，即提问和答案。4.将json文件转换成jsonl，即转换成行json格式。转换过程中全按推荐的选择Y，节省微调费用。2. 设置openai api key。效果未达到逾期，无法提问输出的结果。1.安装openai依赖。6. 查看训练是否完成。
2023-05-11 14:24:28
196
原创 使用langchain及openai创建本地知识库
3. 将知识文件放在kb目录下，以.txt或.doc或.pdf文件的形式存在。5.登录app界面 localhost:8500开始提问吧。2.设置openai api key。
2023-05-11 10:58:37
2084
3
原创 浪潮服务器 Tesla T4 16G GPU 环境配置
7.安装驱动，Install 32 bit compatibility libraries？4. 检查禁用nouveau是否生效，输出为空。2. 更新initramfs。1. 禁用nouveau。
2023-05-05 17:42:27
502
原创 rasa开发多轮对话机器人进阶
rasa构建对话系统的好处是可以根据具体需求去构建，填写表单过程中可以增加闲聊，打断当前过程，之后也可以续上，缺点是配置繁琐、不够灵活，对话过程基本上都是预先设定好的，没有chatgpt的理解能力强，但是目前chatgpt还达不到自动与客户进行业务处理类的对话。本文有一个新的思路，即通过一个引导生成对话机器人的机器人来创建对话机器人。
2023-02-28 18:17:28
742
原创 Chatgpt有多强？
本文通过prompt方式，引导Chatgpt帮你进行NLP处理任务。一个模型(text-davinci-003)通过提问的方式可以同时处理多类NLP任务。体现出了超强的自然语言理解能力和文本处理能力。
2023-02-28 15:55:46
206
原创 实战：手把手教你colossal-AI复现Chatgpt的流程
相信很多人都看了使用colossal-AI复现Chatgpt的流程的文章，但实际上看过了，不免有人发出“说得贼明白，就是自己做不出来”的感叹吧。本文手把手教你如何实现这个流程。
2023-02-23 13:58:35
806
原创 中文语音合成开源模型总结
这些模型代码或多或少都有些BUG，需要自己去修复，另外vits类的多人训练模型代码需要自己需修改，可以使用拼音，也可以使用音素，使用音素加上停顿效果更佳。加速方面：量化、转onnx或script模型失败，代码不支持，其中转traced_model成功，但性能很低，短句需要10秒，放弃。MockingBird:特点是克隆的声音音色比较像，缺点也很明显，速度慢，5秒左右，可以优化到0.4-1.2秒左右，MOS值偏低；Vits：特点是目前公开MOS值最接近真实值的，速度比较快，0.08-0.4秒左右；
2022-11-23 11:23:34
2637
2
原创 Excel小数时间转换成时分秒
Excel表格中的时间：3时28分21秒，导入到数据库后变成了0.1446875，竟然是个小数，愕然？还原过程如下：
2022-07-01 18:07:33
1631
原创 如何解决ClickHouse的表处于只读状态
在使用ClickHouse的过程中，经常会遇到某个副本的表A处于readonly状态，无法更新数据。原因：说是zookeeper的压力大（建议data和log分开存储到不同的磁盘），metadata元数据丢失。此时通常有两种解决办法：1）创建一个和该表A结构相同的表A'，然后将数据从A表导入到A'，多个副本A'的数据会自动同步，以后使用A'表，涉及使用A表的地方都需要修改为A'表；2）DEATCH掉A表，重新创建A表，但此时数据不会自动同步，需要人工从其它副本A表导入。查询哪些副本表处于readonl
2022-06-10 16:34:40
8933
原创 docker部署jupyterhub
为了避免出现如下错误：除了最基本的执行外：docker run -d -p 8000:8000 --name jupyterhub jupyterhub/jupyterhub jupyterhubdocker exec -it jupyerhu bashuseradd wxlpasswd wxl还需要在容器中做以下操作：1.需要增加wxl用户目录及其权限chmod -R 777 homecd /homemkdir wxlchown wxl:wxl wxl -R
2022-05-31 17:40:43
555
原创 在DataEase上支持服务端分页功能（下）
二、前端服务端分页刷新 前端调用分页接口时，只需要传入chart_id及page即可，pageSize不需要传递，该参数在设计页面设置好后存储在后台数据库中，并以json对象的形式存在，在后端的getPageData实现时通过解析ChartViewDTO对象中的customAtrr属性获得tablePageSize的值，resultMode则是返回ChartViewDTO对象中的resultMode，该值是设计页面设置后存入数据库中的。frontend 修改文件及代码如下：1.fr...
2022-05-20 14:13:22
345
原创 在DataEase上支持服务端分页功能（上）
国人喜欢在满足可视化展示的同时也可以查询明细数据，而大部分可视化平台都不支持大量明细的显示，即仅支持客户端分页功能，没有支持服务端分页的功能，为满足这个大量明细显示的需求，本人研究了国人最喜欢的可视化开源软件Dataease的源代码，实现了服务端分页的功能，分享给大家。
2022-05-20 12:20:26
582
原创 基于Rasa框架搭建中文机器人对话系统
基于Rasa框架搭建机器人对话系统，可以使用于工业各类语音智能服务场景，如：远程医疗问诊、智能客户服务、保险产品销售、金融催收服务、手机智能助手等领域。
2022-01-05 14:10:47
3380
原创 mysql-binlog-client数据同步docker镜像构建
mysql-binlog-client基于mysql-replication模拟slave，监听binlog的变化，包括增加、修改、删除 。创建binlog流对象，根据监听事件获取变化的数据，进行数据同步。
2021-12-30 15:35:11
381
winsock全双工多客户端通信
2006-09-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人