关闭

神经网络知识点汇总——RNN

RNN,循环神经网络是一种最新的神经网络结构,和CNN不同的是,它不光在spatial上有一个forward的方向,同时还有一个依赖于时间的传播方向。其中最出名的,当属LSTM(long short time memory)长短期记忆网络。RNN architecture  传统的RNN的结构如上所示(左边的图为原始结构,右边的为按照时间序列展开后的结构,这里一个圆圈代表一层,是一系列神经元的集合,...
阅读(90) 评论(0)

神经网络知识点汇总——CNN

CNN——卷即神经网络(Convolutional Neural Network),主要应用来图像处理领域。它的网络结构中有两个不同于FNN的核心的地方:卷积层和池化层。并且它的正则化技术相对于FNN也有一定的修改。 CNN architecture   CNN中,主要由卷积操作和池化操作构成,紧接其后的可能有一层或者多层的全连接层,用来将feature map转化成一个向量。 Fe...
阅读(120) 评论(0)

神经网络知识点汇总——FNN

本文基于文章,对神经网络的知识点做一个总结,可能不会对某些概念性的东西做详细介绍,因此需要对神经网络有基本的了解。 FNN:前馈神经网络   神经网络的最基本也是最经典的形式,结果包括输入层,隐藏层和输出层,根据隐藏层的多少,分为shallow network和deep network(deep learning由此而来) Activation function   在神经网络的每...
阅读(94) 评论(0)

LeetCode刷题之路(二)——easy的开始

这里依旧以easy的题目为主,因为个人代码量比较少,通过easy题来训练良好的代码习惯,为后面hard的题目做准备。 Problem 67:Add Binary   给定两个二进制字符串,返回求和结果的二进制字符串,如,输入a=’11’,b=’1’,输出’100’。 解题思路:第一种思路直接从字符串出发进行求解,采用递归的形式,考虑每个位置,有如下三种情况: 两个值都为“1”,则结果为a...
阅读(88) 评论(0)

LeetCode刷题之路(一)——easy的开始

从今天开始给自己立个flag,每天刷几个算法题,并将过程中遇到的问题或者碰到的一些比较巧妙的思路记录下来,供以后查阅,写在这里也算是对自己的监督。   解题思路不限于比较难的题的解题思路,对于某些简单的题目比较巧妙的解法也进行说明。   题目由易到难 Problem 1:Two sum Given an array of integers, return indices of...
阅读(83) 评论(0)

矩阵分析与应用(四)——逆矩阵、广义逆矩阵和Moore-Penrose逆矩阵

逆矩阵  逆矩阵的定义:如果对于一个方阵AA,存在一个方阵BB,使得AB=BA=IAB=BA=I,那么我们称BB为AA的逆矩阵,记做:A−1=B=1|A|A∗A^{-1}=B=\frac{1}{\vert A\vert}A^*,这里A∗A^*代表伴随矩阵。   一个n∗nn*n的方阵存在逆矩阵的充要条件等价于: AA为非奇异矩阵 rank(A)=nrank(A)=n AA的行向量线性无关 AA的列...
阅读(240) 评论(0)

最全的机器学习中的优化算法介绍

在机器学习中,有很多的问题并没有解析形式的解,或者有解析形式的解但是计算量很大(譬如,超定问题的最小二乘解),对于此类问题,通常我们会选择采用一种迭代的优化方式进行求解。   这些常用的优化算法包括:梯度下降法(Gradient Descent),共轭梯度法(Conjugate Gradient),Momentum算法及其变体,牛顿法和拟牛顿法(包括L-BFGS),AdaGrad,Adadelta...
阅读(792) 评论(0)

sklearn浅析(八)——近邻算法

近邻(Nearest Neighbor)算法既可以用于监督学习(分类),也可以用于非监督学习(聚类),它通过按照一定方法查找距离预测样本最近的n个样本,并根据这些样本的特征对预测样本做出预测。   在sklearn里,所有的近邻算法位于sklearn.neighbors下,共包含下列13个方法: NearestNeighbors:knn算法,主要用kd-tree和ball-tree实现 Ne...
阅读(402) 评论(0)

矩阵分析与应用(三)——基与Gram-Schmidt正交化

nn维Euclidean空间只有一个,但是nn维向量空间却有无穷多个,如x={0,0,α,β,γ}x=\{0,0,\alpha,\beta,\gamma\}和y={1,5,α,β,γ}y=\{1,5,\alpha,\beta,\gamma\}就是两个完全不同的5维向量空间,虽然他们都在5阶Euclidean空间内。   我们知道,nn维空间的多个向量的线性组合也属于nn维空间(根据向量空间加法运算...
阅读(187) 评论(0)

矩阵分析与应用(二)——内积与范数

常数向量的内积与范数  两个m×1m×1的向量之间的内积(点积)定义为: ⟨x,y⟩=xHy=∑i=1mx∗iyi\langle x,y\rangle=x^Hy=\sum_{i=1}^m x_i^*y_i  其夹角定义为: cosθ=⟨x,y⟩⟨x,x⟩⟨y,y⟩−−−−−−−−−√=xHy∥x∥∥y∥cos \theta = \frac{\langle x,y\rangle}{\sqrt {\...
阅读(258) 评论(0)

矩阵分析与应用(一)——集合的基本运算和内积空间

矩阵相关   幂等矩阵:对于方阵AA,如果A2=AA^2=A,则称为幂等矩阵   对合矩阵:对于方阵AA,如果A2=IA^2=I,则称为对合矩阵 集合的基本运算 A∪B={x∈X:x∈A or x∈B}A\cup B =\{x \in X: x \in A\space or \space x\in B\}A∩B={x∈X:x∈A and x∈B}A\cap B =\{x \in X: x...
阅读(139) 评论(0)

奇异值分解与最小二乘问题

很多线性回归器的损失函数为均方误差: loss=∥Xw−y∥22loss=\Vert Xw-y\Vert_2^2   求解模型参数,需要最小化损失函数: min∥Xw−y∥22min \Vert Xw-y\Vert_2^2X∈Rm∗n,w∈Rm,,X∈Rn,X \in R^{m*n},w \in R^{m},,X \in R^{n},   该类问题分为三种情况: 1. m=n且X为非奇异...
阅读(197) 评论(0)

sklearn浅析(七)——Support Vector Machines

支持向量机以感知机为原型,但是它的能力要远远强于感知机,svm在回归,分类和异常检测上都有重要作用,并且可以通过kernel trick实现高维数据的非线性分类。关于svm的详细介绍请自行查找,可参考[统计学习方法 李航]和[cs229课程 Andrew Ng]   sklearn里面提供了很多svm及其变种,用于不同的应用场景,包括: SVC LinearSVC NuSVC SVR Lin...
阅读(384) 评论(0)

sklearn浅析(六)——Kernel Ridge Regression

Kernel Ridge Regression即使用核技巧的岭回归(L2正则线性回归),它的学习形式和SVR(support vector regression)相同,但是两者的损失函数不同:KRR使用的L2正则均方误差;SVR使用的是待L2正则的ϵ\epsilon-insensitive loss:max(0,|y−hθ(x)|−ϵ)max(0, \vert y-h_\theta(x)\vert-...
阅读(743) 评论(0)

sklearn浅析(五)——Discriminant Analysis

sklearn中的判别分析主要包括两类,LinearDiscriminantAnalysis和QuadraticDiscriminantAnalysisLinearDiscriminantAnalysis  线性判别分析是一种分类模型,它通过在k维空间选择一个投影超平面,使得不同类别在该超平面上的投影之间的距离尽可能近,同时不同类别的投影之间的距离尽可能远,在LDA中,我们假设每一个类别的数据服从高...
阅读(580) 评论(0)
28条 共2页1 2 下一页 尾页
    个人资料
    • 访问:11426次
    • 积分:390
    • 等级:
    • 排名:千里之外
    • 原创:25篇
    • 转载:0篇
    • 译文:0篇
    • 评论:0条