深度学习,神经网络
TFknight
这个作者很懒,什么都没留下…
展开
-
Kaggle上面命令Proceed (y/n)的处理
遇到要选择的时候Proceed (y/n)后面直接加 --yes 就可以了! pip uninstall bert4keras --yes原创 2020-08-12 14:53:19 · 6436 阅读 · 6 评论 -
CrossEntropyLoss、MSELoss、BCEWithLogitsLoss区别
基于pytorch来讲MSELoss()多用于回归问题,也可以用于one_hotted编码形式,CrossEntropyLoss()名字为交叉熵损失函数,不用于one_hotted编码形式MSELoss()要求batch_x与batch_y的tensor都是FloatTensor类型CrossEntropyLoss()要求batch_x为Float,batch_y为LongTensor类型(1)CrossEntropyLoss() 举例说明:比如二分类问题,最后一层输出的为2个值,比转载 2020-08-11 10:12:07 · 3282 阅读 · 1 评论 -
keras入门-简单数据集的运用
Keras:Keras是一个高层神经网络API,Keras由纯Python编写而成并基Tensorflow、Theano以及CNTK后端。Keras为支持快速实验而生.Keras的核心数据结构是“模型”,模型是一种组织网络层的方式。Keras中主要的模型是Sequential模型,Sequential是一系列网络层按顺序构成的栈。下面我就用两个经典数据集iris 和 mnist load_iris()mnist.load_data()原创 2017-10-10 19:59:56 · 3004 阅读 · 0 评论 -
NLP小白的Kaggle一轮游总结
博主大三,一月中旬期末考试结束之后都放在这个比赛上面了--Quora Insincere Questions Classification。大半个月过来,做了很多尝试,线下成绩提高了不少,线上LB的成绩还是原地踏步 :)。现在来总结一下自己做过的一些工作,给大家以及自己一些参考反思。如果各路大佬有更好的idea,欢迎骚扰交流~该竞赛是个典型的文本二分类问题,用的是美国的知乎(quora...原创 2019-01-29 15:25:12 · 1892 阅读 · 1 评论 -
Bert抽取词向量进行工程运用 | 如word2vec一般丝滑
应用场景:QA对话系统|检索系统任务: 希望能够在数据库中找到与用户问题相似的【句子对|词语】,然后把答案返回给用户。这篇就是要解决这个问题的。方法: 下面提供两个方法,一个是基于google 开源的bert,另一个是基于pytorch-transformer1. BERT 语义相似度BERT的全称是Bidirectional Encoder Representation from Transformers,是Google2018年提出的预训练模型,即双向Transformer的E.原创 2020-07-28 09:57:19 · 1331 阅读 · 0 评论 -
pytorch基础知识-Cross Entropy
pytorch基础知识-Cross Entropyhttps://cloud.tencent.com/developer/article/1539723上节课介绍了Cross Entropy 与 Enropy的区别,本节介绍Cross Entropy到底在二分类问题中是如何运算的。假设面对的是猫狗的二分类问题,此时的Cross Entropy的表示公式为:为更好的理解,我们以5分类问题进行解释实际值为小猫。当模型预测效果较好时这里注意到使用Cross En...转载 2020-07-17 15:38:26 · 486 阅读 · 0 评论 -
Bert油管视频学习
原博客位置:https://www.cnblogs.com/tfknight/p/13267870.html我们说的contextualized word embedding 就是取中间这个部分的向量出来,这里是上文的所有信息。高烧退了丞退了这两个向量都是不同的elmo直接用两个参数相加更新, 全都要h = a1*h1 + a2*h2bert抽取出来的[mask 词]的embedding 一定要够准,要不然linear classif...原创 2020-07-17 11:07:41 · 171 阅读 · 0 评论 -
kaggle Quora Insincere Questions 总结
第三名:https://www.kaggle.com/wowfattie/3rd-place用到了词向量的拼写检查:https://www.kaggle.com/cpmpml/spell-checker-using-word2vec 第四名:https://www.kaggle.com/tks0123456789/pme-ema-6-x-8-pochs还没仔细看第1...原创 2019-02-25 11:39:58 · 840 阅读 · 0 评论 -
RNN 超详细入门代码(mnist)
最近在看Morvan老师的视频,入门RNN,在这里也贴上自己根据老师的课程修改过的RNN代码,作为学习~用到的是RNN 神经网络,mnist数据集# -*- coding: utf-8 -*-import numpy as npnp.random.seed(1337)from keras.datasets import mnistfrom keras.utils import np_...原创 2018-05-24 20:59:17 · 2693 阅读 · 0 评论 -
python+CNN超详细入门(mnist数据集)
# -*- coding: utf-8 -*-__author__ = "TF大Q"import numpy as npnp.random.seed(1337) from keras.datasets import mnistfrom keras.models import Sequentialfrom keras.layers import Dense, Dropout, Act...原创 2018-05-14 14:43:09 · 17978 阅读 · 13 评论