重学算法
哈哈进步
Had i not seen the sun, i could have borne the shade.
展开
-
自然语言处理中的Attention机制总结
       在面试的过程中被问到了attention,原来虽然其实已经实际用过attention了,也知道个大概原理是加权求和,但是对于加权的具体方法以及权值得分的计算并不是很清晰,面试答的一般,正好最近实习的地方原创 2018-08-22 15:20:57 · 102620 阅读 · 26 评论 -
GBDT算法复习小结
如果要挑选我认为目前最重要的机器学习算法的话,我个人认为GBDT应该排名很靠前的,而且在实际应用中也经常用到,著名的xgboost和lightgbm开源算法都是基于GBDT的实现。由于我记性实在是不好,GBDT的算法原理总是看了又忘,所以这次落于博客上面,希望加深记忆。 本篇博客主要参考李航老师的《统计学习方法》以及该博主的这篇文章内容博客地址。 GBDT属于boosting(提升方法)大家族...原创 2018-05-22 19:01:57 · 556 阅读 · 0 评论 -
梯度下降算法和正规方程组学习笔记
斯坦福大学的机器学习公开课的第二节课的学习笔记原创 2015-11-18 11:27:51 · 8421 阅读 · 8 评论 -
神经网络与深度学习第一天读书笔记
书本来源概念:感知器、S型神经元感知器(Perceptrons)一个感知器接受几个二进制的输入,得到一个二进制输出。书上举例是三个,可以有更多输入。threshold表示阈值,wj表示一个输入的权重。上式含义的意思就是如果加权和小于等于阈值,输出为0,加权和大于阈值,输出为1.令b=-threshold,称谓偏置,则上式改写为:w原创 2016-07-28 20:39:45 · 1266 阅读 · 0 评论 -
神经网络与深度学习第四天读书笔记-----迈向深度学习:反向传播算法
书本来源首先是一些概念与定义。明确深度网络的定义:包含多层结构-----两层或更多隐藏层的-----的网络被称为深度网络。那么针对深度网络的学习任务,就是深度学习了。反向传播算法:一种计算代价函数梯度的快速算法。1.热身:神经网络中使用矩阵快速计算输出的方法我们使用(下面有些时候为了在csdn编辑方便,写作W^l----jk)表示从第(l-1)层(同前,下写作(l-1)原创 2016-08-02 20:35:06 · 1806 阅读 · 0 评论 -
神经网络与深度学习读书笔记第五天----交叉熵代价函数入门
书本来源这两天骑车不小心把一颗门牙整个磕断了。心情十分不好,书也没怎么看……证明和代码部分随便翻了翻。真是烦死了,自己怎么这么不小心……北京看牙齿真贵,一颗镶牙要好几千,一颗种植牙2w…然后老师又分配了嵌入式系统相关的任务,以后又要开始重拾嵌入式部分,这次好像是写sylixos的网络驱动,原来还没写过底层的网络驱动,又不知道要学习多久,有点紧张也有点期待,更多的是无从下手。今天继续原创 2016-08-05 21:36:11 · 4183 阅读 · 0 评论 -
const char*, char const*, char*const的区别
事实上这个概念谁都有只是三种声明方式非常相似:Bjarne在他的The C++ Programming Language里面给出过一个助记的方法:把一个声明从右向左读。char * const cp; ( * 读成 pointer to ) cp is a const pointer to char,p不可变,*p可以变,即指向的地址不变,内容可变。const ch转载 2016-09-18 16:55:53 · 627 阅读 · 0 评论 -
类动态规划求解较小规模的最大团问题(Python实现)
1.图:由点、边(点与点之间连线),组成的集合,如点集V=[0,1,2,3,4],边集E=[[1,3,4],[2,3,4],[4],[4],[]],则(V,E)就是一个图,其表达的意思如下:该图中含有5个端点,分别为0,1,2,3,4,这些点存在V中,如端点1对应V[1]=1端点之间会连着线,称为边,如1和2之间连的边,就对应E中E[1]=[2,3,4]的元素2,如0和4之间连原创 2016-12-22 18:56:13 · 3843 阅读 · 0 评论 -
梯度下降算法 Python实现
不能算原创,因为我参考的是别人的博客。包括里面拟合的函数,以及求梯度的方法,还有构造的数据直接用的人家的。但是看他的代码有问题迭代的时候虽然最后c参数的梯度为0,但是不代表就不对他进行求解了。再加上他的图我没怎么看懂含义,所以自己改了改代码,重新画了画错误率的图。#coding:utf-8import numpy as npimport matplotlib.pyplot as plt#转载 2017-05-03 15:25:38 · 1021 阅读 · 0 评论