机器学习与深度学习
机器瞎学
lyh_a
拒绝无脑的粘贴复制
展开
-
交叉熵与最大似然函数的关系:殊途同归
关键词:贝努力分布多项式分布最大似然函数:用来衡量相似性,为了方便计算,引出对数似然交叉熵殊途同归店长强烈推荐:哈?你还认为似然函数跟交叉熵是一个意思呀?Reference:[1] 夕小瑶的卖萌屋...原创 2020-03-19 14:20:24 · 534 阅读 · 0 评论 -
Attention机制之Transformer
文章目录Attention机制 -- Transformer0. 代码1. Scaled Dot-product Attention2. Multi-head Attention3.残差网络,Normalization与feed-forward network4. Transformer中使用Multi-head Attention的细节5. Positional encoding [浅谈 Tr...原创 2020-03-12 13:08:17 · 643 阅读 · 0 评论 -
pytorch中数据格式变换及创建掩码mask示例
Torch数据格式变换及创建掩码mask示例常用维度转换方法import torchcase = torch.arange(0, 6).view(2, 3)print(case, case.size())# tensor([[0, 1, 2],# [3, 4, 5]]) torch.Size([2, 3])permute()'''交换维度'''case_...原创 2020-03-07 13:19:50 · 10805 阅读 · 0 评论 -
如何理解深度学习源码里经常出现的logits?
转自:如何理解深度学习源码里经常出现的logits? - ke1th的回答 - 知乎 https://www.zhihu.com/question/60751553/answer/242666339logits: 一个事件发生与该事件不发生的比值的对数(统计学习方法-李航 p78)。假设一个事件发生的概率为 p,那么该事件的 logits 为 .现在来看一下这个式子和 softmax 有...转载 2019-07-08 20:34:23 · 1841 阅读 · 0 评论 -
pytorch中RNN函数
'''参考https://www.cnblogs.com/lindaxin/p/8052043.html以及pytorch中文文档https://pytorch-cn.readthedocs.io/zh/latest/package_references/torch-nn/#class-torchnnrnn-args-kwargssource'''import torchimport ...原创 2019-07-08 15:30:53 · 1180 阅读 · 0 评论 -
使用keras,在load_model()时,出现NameError: name '***' is not defined
是因为在构造模型是,使用了自定义的层,如Lambda()# 文本相似度评估方式def exponent_neg_manhattan_distance(sent_left, sent_middle, sent_right): '''基于曼哈顿空间距离计算两个字符串语义空间表示相似度计算''' return ((K.exp(-K.sum(K.abs(sent_left - se...原创 2019-07-03 16:55:19 · 12987 阅读 · 3 评论 -
用例子与代码详解LSTM层的输入输出,以Keras为例
先附上代码:from keras import Sequentialfrom keras.layers import LSTMmodel = Sequential()model.add(LSTM(64)) #64表示input_dim,即每个时间步输入的向量的维度#输入为2个句子,即2个样本,Batchsize=2,3个时间步,每个时间步的输入是64维,如X0,# 注意:每个...原创 2019-06-02 11:15:14 · 7346 阅读 · 2 评论 -
NLP基本任务二:基于深度学习的文本分类
本博客参照了复旦大学计算机科学技术学院邱锡鹏教授的文章https://www.zhihu.com/question/324189960题目:熟悉Pytorch,用Pytorch重写《任务一》,实现CNN、RNN的文本分类; 参考 https://pytorch.org/ Convolutional Neural Networks for Sentence Classificati...原创 2019-05-23 15:50:20 · 1776 阅读 · 2 评论 -
AttributeError: 'KerasClassifier' object has no attribute 'model'
原网址:https://stackoverflow.com/questions/44622857/why-am-i-getting-attributeerror-kerasclassifier-object-has-no-attribute-mode有效原创 2019-03-16 16:30:42 · 3314 阅读 · 0 评论 -
linux下配置部署Tensorflow深度学习模型运行环境并使用Tornad0框架实现多进程
1.配置python环境(0)通过命令sudo su切换为root用户(1)安装Anaconda首先在Anaconda官方下载地址下载Anaconda安装文件,如Anaconda3-5.1.0-Linux-x86_64.sh。 下载完成后上传到服务器指定位置中,在文件路径下执行如下命令:bash Anaconda3-5.1.0-Linux-x86_64.sh。安装过程中可以更改安装...原创 2019-08-27 15:43:17 · 836 阅读 · 0 评论