![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
神经网络
文章平均质量分 51
Carlosi
这个作者很懒,什么都没留下…
展开
-
日语纠错问题 拼写纠错
目前在做日语纠错任务,主要是为了解决公司query召回率低的问题,目前可行的方案有下面几个:一个是科大讯飞的那个gector模型 ,他主要是利用了bert或者Robert来做特征提取,然后会在最后接上两个全链接网络,分别用来输出每个日语单词纠正的对象可他们本身错误的概率值信息,通过对他们的结果分别求得一个loss值来进行反向梯度传递,不断进行训练以此达到最优值,其中错误数据的是我通过罗马音和编辑距离为一的一些词进行随机的替换构成的,以此来模仿真实地错误数据。未完待续。。另外一个就是根据Be...原创 2021-09-01 00:13:52 · 530 阅读 · 0 评论 -
GOOGLE 谷歌翻译实现
1、访问速度太快被封req = urllib.request.Request(url=url, headers=headers)response = urllib.request.urlopen(req)data = response.read().decode('utf-8')2、稳定但是速度太慢response,prediction = translator.translate(content, dest='es',src='es')3、速度稍微快一些url_encode_...原创 2021-08-29 15:01:07 · 120 阅读 · 0 评论 -
Transformer Encoder
ERNIE 采用了 Transformer Encoder 作为其语义表示的骨架。Transformer 是由论文Attention is All You Need首先提出的机器翻译模型,在效果上比传统的 RNN 机器翻译模型更加优秀。Transformer 的简要结构如图1所示,基于 Encoder-Decoder 框架, 其主要结构由 Attention(注意力) 机制构成:Encoder 由全同的多层堆叠而成,每一层又包含了两个子层:一个Self-Attention层和一个前馈神经网络。Self.原创 2021-08-29 15:00:17 · 471 阅读 · 0 评论 -
训练时loss不下降问题
1、训练集loss不下降2、测试集loss不下降3、验证集loss不下降二、epoch在100内损失出现nan可能原因以及解决三、自适应学习率设置一、训练时loss不下降问题1、训练集loss不下降 1.1 模型结构和特征工程存在问题 1.2 权重初始化方案有问题 1.3 正则化过度 1.4 选择合适的激活函数、损失函数1.5 选择合适的优化器和学习速率 1.6 训练时间不足1.7 模型训练遇到瓶颈1.8 batch size过大原创 2021-08-29 14:59:08 · 4707 阅读 · 2 评论 -
模型训练基本
pytorch训练技巧使用DataLoadersDataLoader中的workers数量允许批量并行加载。因此,您可以一次装载nb_workers个batch,而不是一次装载一个batch。loader=DataLoader(dataset,batch_size=32,shuffle=True,num_workers=10)Batch size在开始下一个优化步骤之前,将batch size增大到CPU-RAM或GPU-RAM所允许的最大范围。下一节将重点介绍如何帮助...原创 2021-08-29 14:58:33 · 348 阅读 · 0 评论 -
Linux命令
linux启动后环境变量加载的顺序为:etc/profile → /etc/profile.d/*.sh → ~/.bash_profile → ~/.bashrc → [/etc/bashrc]https://www.cnblogs.com/xuxinstyle/p/9609551.html 50个常用命令~也表示为 home 目录 的意思,.则是表示目前所在的目录,..则表示目前目录位置的上一层目录cat/etc/redhat-release 查看CentOS版本...原创 2021-08-28 19:55:15 · 209 阅读 · 0 评论 -
NLP 任务类别
index English Chinese1 Automatic speech recogniton 自动语音识别2 CCG supertagging CCG 超级标记3 Common sense 常识4 Constituency parsing 选区分析5 Coreference resolution 共指消解6 Dependency parsing 依存关系句法分析7 Dialogue 对话8 Domain adaptation 领域自适应9 Entity lin..原创 2021-08-28 19:50:57 · 192 阅读 · 1 评论 -
NLP主要内容
文章目录目录 〇、推荐 一、人工智能学习算法分类 1. 纯算法类 2.建模方面 二、详细算法 1.分类算法 2.回归算法 3.聚类算法 4.降维算法 5.概率图模型算法 6.文本挖掘算法 7.优化算法 8.深度学习算法 三、建模方面 1.模型优化· 2.数据预处理 〇、推荐无意中发现了一个巨牛的人工智能教程,忍不住分享一下给大家。教程不仅是零基础,通俗易懂,而且非常风趣幽默,像看小说一样!觉得太牛了,所以分享给大家。点这里可以跳转到教程。原创 2021-08-28 19:46:58 · 178 阅读 · 0 评论 -
BERT 理解
BERT的全称是Bidirectional Encoder Representation from Transformers,即双向Transformer的Encoder。模型的主要创新点都在pre-train方法上,即用了Masked LM和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation。作为一个Word2Vec的替代者,其在NLP领域的11个方向大幅刷新了精度,可以说是近年来自残差网络最优突破性的一项技术了。可以调整的参数和取值范围有:原创 2021-08-28 19:44:39 · 527 阅读 · 0 评论 -
正确率,精确率,召回率.
样本为负被预测为正的应该用FP而不是FN。这样理解P代表目前所有结果显示是1 N代表目前所有结果显示是0N=negative、P=positive、T=true、F=false。TF是预测为正负,NP为实际正负。假设我们手上有60个正样本,40个负样本,我们要找出所有的正样本,系统查找出50个,其中只有40个是真正的正样本,计算上述各指标。TP: 将正类预测为正类数 40 正确的正类FN: 将正类预测为负类数 20 错误的负类FP: 将负类预测为正类数 10 错误的正类TN: 将负类预...原创 2021-08-28 19:37:13 · 755 阅读 · 0 评论