机器学习
文章平均质量分 61
哈哈进步
Had i not seen the sun, i could have borne the shade.
展开
-
mask softmax的tensorflow实现
原始的tensorflow实现是通过把一个mask的位置改成一个非常小的负数,然后加到原来的向量上实现的: adder = (1.0 - tf.cast(mask, inputs.dtype)) * ( _large_compatible_negative(inputs.dtype)) # Since we are adding it to the raw scores before the softmax, this is # effectively th原创 2022-04-01 17:55:05 · 852 阅读 · 0 评论 -
transformer做文本分类的keras实现完整版
背景目前csdn上搜索到的keras的版本实现,排在前面的是:https://blog.csdn.net/xiaosongshine/article/details/86595847但是,存在的问题在于,本身这个文章的实现其实是少了一部分的(缺少了LayerNorm+残差的部分),multi-head attention出来之后也少了一个W再做一次非线性变化,所以跟论文描述的encoder区块其实对应不上。所以我从各个地方找了其他的缺少的部分实现,凑出一个基本能对应上论文的keras版本的transf原创 2022-03-01 18:24:11 · 3545 阅读 · 2 评论 -
自然语言处理中的Attention机制总结
       在面试的过程中被问到了attention,原来虽然其实已经实际用过attention了,也知道个大概原理是加权求和,但是对于加权的具体方法以及权值得分的计算并不是很清晰,面试答的一般,正好最近实习的地方原创 2018-08-22 15:20:57 · 102670 阅读 · 26 评论 -
windows下pip安装出现编码问题
一般报错是UnicodeDecodeError: 'ascii' codec can't decode byte 0xd5......一种方法是去修改相应的 __init__ 文件的编码格式,可能要修改很多。 这儿提供一种更加简单的方法:在git bash中安装。 进入anaconda的目录:C:\Users\Arthur\Anaconda3\Scripts,使用git bash,...原创 2018-07-10 12:42:56 · 1177 阅读 · 0 评论 -
用keras采用DCGAN网络生成三国群英传7的人物头像
https://github.com/sparkingarthur/sangoProfile-keras-GAN- 使用的环境是后端tf1.8+keras2.1.6 这两天心情不是很好,压力很大,于是玩了玩三国群英传,突发奇想想用神经网络生成三国群英传的人物头像玩玩,于是去稍微找了找GAN的资料,尝试着弄了弄。但是效果太烂了,不想写具体咋弄了…GAN实在是太难调了,估计我搜集的数据集也不是...原创 2018-05-30 14:35:23 · 3156 阅读 · 1 评论 -
GBDT算法复习小结
如果要挑选我认为目前最重要的机器学习算法的话,我个人认为GBDT应该排名很靠前的,而且在实际应用中也经常用到,著名的xgboost和lightgbm开源算法都是基于GBDT的实现。由于我记性实在是不好,GBDT的算法原理总是看了又忘,所以这次落于博客上面,希望加深记忆。 本篇博客主要参考李航老师的《统计学习方法》以及该博主的这篇文章内容博客地址。 GBDT属于boosting(提升方法)大家族...原创 2018-05-22 19:01:57 · 566 阅读 · 0 评论 -
Keras中Conv1D和Conv2D的区别
如有错误,欢迎斧正。我的答案是,在Conv2D输入通道为1的情况下,二者是没有区别或者说是可以相互转化的。首先,二者调用的最后的代码都是后端代码(以TensorFlow为例,在tensorflow_backend.py里面可以找到):x = tf.nn.convolution( input=x, filter=kernel, dilatio...原创 2018-03-13 01:04:04 · 57957 阅读 · 12 评论 -
kaggle的toxic_comment_classification比赛21th经验总结
这个比赛可以说是一波三折,本来应该早早就结束了,结果因为数据泄露更换了数据,中途还更换过评价指标,不过好在最后还是顺利结果,我们队伍拿到了前1%的成绩(21/4551),属于不是很好但是也不是很坏的结果,这是我第一次在kaggle上完整的参与一个NLP比赛,因此我感觉有必要将这次的比赛经历写下来,做一个总结。比赛链接:点击打开链接1.数据分析(EDA)1)查看数据,训练数据159571 条,测试数...原创 2018-03-22 14:19:24 · 5730 阅读 · 7 评论 -
一种解决keras的earlystopping的自定义metric麻烦(比如auc)的方法
keras metic auc原创 2017-11-24 23:13:55 · 4041 阅读 · 1 评论 -
keras输出中间层结果的2种方法
keras输出中间层结果的2种方法。原创 2017-09-14 17:20:40 · 47794 阅读 · 26 评论 -
梯度下降算法和正规方程组学习笔记
斯坦福大学的机器学习公开课的第二节课的学习笔记原创 2015-11-18 11:27:51 · 8441 阅读 · 8 评论 -
神经网络与深度学习第一天读书笔记
书本来源概念:感知器、S型神经元感知器(Perceptrons)一个感知器接受几个二进制的输入,得到一个二进制输出。书上举例是三个,可以有更多输入。threshold表示阈值,wj表示一个输入的权重。上式含义的意思就是如果加权和小于等于阈值,输出为0,加权和大于阈值,输出为1.令b=-threshold,称谓偏置,则上式改写为:w原创 2016-07-28 20:39:45 · 1276 阅读 · 0 评论 -
随书实验须知
书本来源书本里的代码是python2.7的,所以我建议大家学习的时候都是安装Python2.7来进行实验。如果非要用python3.4的话,我这里把我做的修改,做个参考:首先是python3.4里面没有cPickle了,所以首先在mnist_loader.py里面要把:import cPickle改为:import pickle as cPickle并且,用法也稍微原创 2016-08-01 10:23:58 · 1068 阅读 · 2 评论 -
神经网络与深度学习第四天读书笔记-----迈向深度学习:反向传播算法
书本来源首先是一些概念与定义。明确深度网络的定义:包含多层结构-----两层或更多隐藏层的-----的网络被称为深度网络。那么针对深度网络的学习任务,就是深度学习了。反向传播算法:一种计算代价函数梯度的快速算法。1.热身:神经网络中使用矩阵快速计算输出的方法我们使用(下面有些时候为了在csdn编辑方便,写作W^l----jk)表示从第(l-1)层(同前,下写作(l-1)原创 2016-08-02 20:35:06 · 1817 阅读 · 0 评论 -
神经网络与深度学习读书笔记第五天----交叉熵代价函数入门
书本来源这两天骑车不小心把一颗门牙整个磕断了。心情十分不好,书也没怎么看……证明和代码部分随便翻了翻。真是烦死了,自己怎么这么不小心……北京看牙齿真贵,一颗镶牙要好几千,一颗种植牙2w…然后老师又分配了嵌入式系统相关的任务,以后又要开始重拾嵌入式部分,这次好像是写sylixos的网络驱动,原来还没写过底层的网络驱动,又不知道要学习多久,有点紧张也有点期待,更多的是无从下手。今天继续原创 2016-08-05 21:36:11 · 4195 阅读 · 0 评论 -
keras小试人脸识别
使用keras做人脸识别小试的总结性文章。原创 2017-06-06 14:42:36 · 8077 阅读 · 4 评论 -
神经网络与深度学习读书笔记第二天
书本来源学习的基本是梯度下降算法,因为之前大概了解这个算法是怎么回事,所以看得特别快。这本书讲的数学相对而言更加简单容易理解。简单总结今天学习的东西:w,b的定义跟上一节的定义一样。参考这个这个函数叫做代价函数,n表示训练数据个数,a表示当输入为x时的输出向量,y(x)表示期望输出(真实值)。这个书上定义二次代价函数,又称为为均方误差(MSE),我查了下定义,跟百度原创 2016-07-30 09:37:57 · 923 阅读 · 0 评论