- 博客(10)
- 收藏
- 关注
RSS订阅
原创 知识蒸馏在文本方向上的应用
知识蒸馏在文本方向上的应用 虽然说做文本不像图像对gpu依赖这么高，但是当需要训练一个大模型或者拿这个模型做预测的时候，也是耗费相当多资源的，尤其是BERT出来以后，不管做什么用BERT效果都能提高，万物皆可BERT。 然而想要在线上部署应用，大公司倒还可以烧钱玩，毕竟有钱任性，小公司可玩不起，成本可能都远大于效益。这时候，模型压缩的重要性就体现出来了，如果一个小模型能够替代大模型，而这个小模型的效果又和大模型差不多，换做你晚上做梦也会笑醒。文章目录知识蒸馏在文本方向上
2020-05-20 16:11:27
3157
31
原创 大语言模型(LLM)-如何训练得到一个大模型？
最近大半年都在做大模型微调方面相关的工作，经过长时间的沉淀，有了部分可以输出的内容，自认为对大模型各部分的理解有一定的深度，希望可以完成一篇质量较高的文章，有错误之处也请指正。
2023-10-30 23:04:05
202
2
原创 wenet实战系列-双声道音频语音识别
双声道音频语音识别demo，ASR模型使用wenet，VAD模型使用WebRTC VAD，可用于客服电话场景等
2023-01-08 20:44:51
1918
9
原创 Pandas对DataFrame行列值操作
分析文本数据时经常要对csv文件做处理，用pandas在对表格数据取值时经常会忘了怎么操作，下面做一个小的总结，只涉及经常用的一些操作。train.csv内容如下：list1list2list3Aa1Bb2Cc3Dd4Ee5import pandas as pddata = pd.read_csv('train.csv')# 切片取某几行值。第二三行print(data[1:3])# 取某几列。第一二列print(d
2020-07-08 11:53:09
462
原创 Windows和Linux路径不兼容解决办法
import osos.path.join(os.getcwd(),dirname1,dirname2,...)其中，os.getcwd()返回当前目录，dirname1为子目录，dirname2为dirname1下的子目录，以此类推。这样就不需要考虑绝对路径和相对路径在不同系统下不兼容的问题。...
2020-06-23 12:02:34
1163
原创 国内源地址以及pip方法
国内源清华：https://pypi.tuna.tsinghua.edu.cn/simple阿里云：https://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/华中理工大学：http://pypi.hustunique.com/山东理工大学：http://pypi.sdutlinux.org/豆瓣：https://pypi.douban.com/simple/pip方法pip in
2020-06-09 10:19:17
433
转载 上传文件夹至服务器
rz无法上传文件夹，我们可以使用打包进行解决在本地一个项目文件夹下打包所有文件tar -cvf xxxx.tar *在服务器端一个指定文件夹下进行解压tar -xvf xxxx.tar解压后，移除tar包rm -rf ****.tar（r适用于文件夹移除，代表此文件夹下的所有文件相当于递归查找；f 是强制移除的意思）...
2020-06-08 19:49:30
372
原创 NLP文本分析(文本分类与句子评分)
在线课堂质量评估文本分析文本分析的任务是对一堂在线课的师生对话进行分析，得到问答、讲堂和纠错三个方面的定性评估。更新Apr 28, 2020当前版本: 0.1.0, 初始版本。目录章节内容简介项目简介工作流程文本分析整体工作流程快速开始举例展示模型用法模型效果在样本数据集上模型效果展示已知问题尚未解决的问题简介在线课堂...
2020-04-28 19:15:55
6183
3
原创 超算系统使用方法
上个月学校的超算系统终于投入使用了..但是只有4块gpu...还是很让人头疼..希望大家都不会用..这样我就能一个人独占了上周去面试的时候问到有没有记录的习惯..然后说没有很尴尬..很早就想写博客了..一直拖着..那不如就从今天开始吧由于学校公开的手册写的非常之烂，就花了一些时间研究，目前基本掌握了使用方法登陆超算系统登陆还是很简单的，我用的是mac OS系统，直接在终端输入如下就...
2019-07-01 16:49:24
9989
11
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人