- 博客(14)
- 收藏
- 关注
RSS订阅原创 深度学习（三）
算法优化调参1、在调整超参数时，其中最终要的是αα\alpha，其次是动量ββ\beta、隐藏层单元以及mini-batch，之后还可以调整层数跟学习率衰减 2、在深度学习中，随机选择参数的值可能更好一些，因为事先并不知道哪个参数相对比较重要，另一个比较重要的原则是从粗略到精细，到大体确定了超参数的范围，再在这个范围内进行随机取值，获得更加精细的参数 3、当确定了参数的范围，对其进...
2018-07-28 12:11:23
135
原创 深度学习（二）
算法优化mini-batch将庞大的数据集分成许多个batch，遍历这些batch，每个batch使用梯度下降法进行优化 如果batch的数目太大，则每次迭代的时间太长，如果batch的数目为1，则退化为随机梯度下降法，这样就丧失了向量化的加速作用，因此，需要合理选择batch的数目，一般对于较大的数据集，选择为64或128到512，一般是2的整数次幂。指数加权平均vt=βv...
2018-07-26 14:45:44
150
原创 深度学习（一）
算法的优化任何网络要想达到极好的效果都不是一簇而就的，需要一个迭代的过程，不断的调整参数，如果初始参数能够设置的很好，无疑能够极大的缩短这个过程。数据集对于数据集，大体可分为三类：训练集，交叉验证集，测试集 1、在机器学习时代，三者的比例为6：2：2，但随着数据的爆炸式的增长，训练集的比例占的越来越大，而其余两者只需要很少的数据进行验证即可。 2、当测试集跟训练集不匹配时，一个...
2018-07-25 16:19:14
222
原创 线性代数（十二）
左逆与右逆1、当列满秩时，有左逆存在，即[(ATA)−1AT]A=I[(ATA)−1AT]A=I[{({A^T}A)^{ - 1}}{A^T}]A = I ，当行满秩时，有右逆存在，即A[AT(AAT)−1]=IA[AT(AAT)−1]=IA[{A^T}{(A{A^T})^{ - 1}}] = I 2、伪逆：行空间上不同向量，经过A的映射到列空间上，如果没有零空间的干扰，有A+(Ax)=xA...
2018-07-21 15:29:07
412
原创 线性代数（十一）
线性变换1、定义：满足加法跟数乘的运算，投影跟旋转都属于线性变换 2、矩阵与线性变换的联系：Ax就是一个线性变换，矩阵源于坐标系，只要确定了基，坐标随之确定 3、基的选取可以有多种，选取特征向量作为基也是一种较好的方法；对于求变换矩阵，可以从基的变换入手 4、特征向量相互正交：AAT=ATAAAT=ATAA{A^T} = {A^T}A...
2018-07-20 16:21:31
137
原创 线性代数（十）
相似矩阵1、定义：存在可逆阵M，使得 B=M−1AMB=M−1AMB = {M^{ - 1}}AM ，则称A与B相似 2、性质：相似矩阵具有相同的特征值，若尔当矩阵1、若尔当标准型：形如下列矩阵： 其对角线上是相同的特征值，上一斜列都为1，这样的一个若尔当块，有n个特征值，n-1个1，故有1个特征向量 2、所有的方阵都可以相似于一个若尔当阵，若尔当阵由若尔当块组成...
2018-07-20 14:31:16
683
原创 线性代数（九）
对称矩阵1、性质：实对称矩阵的特征值为实数，特征向量正交 2、一个对称阵，可以分解为：A=SΛS−1=QΛQTA=SΛS−1=QΛQTA = S\Lambda {S^{ - 1}} = Q\Lambda {Q^T} 3、当阶数过多时，计算矩阵的特征值特征向量就成了问题，对于对称阵，这种较好的矩阵来说有比较好的性质，主元的符号与特征值的符号一致，也就是说正负特征值与正负主元的个数一致...
2018-07-18 20:26:00
605
原创 机器学习（四）
逻辑回归模型其实质是分类问题 模型的选取：我们想要我们的输出在0到1之间，因此形式为：hθ(x)=g(θTx)hθ(x)=g(θTx){h_\theta }(x) = g({\theta ^T}x)，其中，g(x)=11+e−xg(x)=11+e−xg(x) = \frac{1}{{1 + {e^{ - x}}}}，即g(x)为sigmoid函数...
2018-07-18 17:11:54
114
原创 线性代数（八）
微分方程前提：常系数微分方程的解是指数形式 1、一阶常系数微分方程稳定的条件：特征值为0其余的为负 2、一阶常系数微分方程的解为：y=cieλitxiy=cieλitxiy = {c_i}{e^{{\lambda _i}t}}{x_i} 3、高阶微分方程也可以将其转化为类似的形式，实质上都是利用了方程的幂与特征值特征向量的关系马尔科夫矩阵1、性质：每个元素大于0；每一列的和为1 ...
2018-07-17 19:06:29
141
原创 线性代数（七）
特征值与特征向量特征向量1、实质：所谓的特征向量，实质是将x输入到一个函数中，其结果与x同方向 2、性质：特征值的和等于迹的和，特征值之积等于行列式的值；对称矩阵特征值是实数；n个不同的特征值有n个不同的特征向量，但有重复特征值的情况下不一定有n个不同的特征向量 3、如何推导出特征方程：(A−λI)x=0(A−λI)x=0(A - \lambda I)x = 0 显然，A−λIA−...
2018-07-15 15:47:46
673
原创 机器学习（三）
多变量的梯度下降算法1、 公式：θj:=θj−α1m∑i=1m(hθ(x(i))−y(i))x(i)jθj:=θj−α1m∑i=1m(hθ(x(i))−y(i))xj(i){\theta _j}: = {\theta _j} - \alpha \frac{1}{m}\sum\limits_{i = 1}^m {({h_\theta }({x^{(i)}}) - {y^{(i)}})x_j^{(...
2018-07-15 13:45:29
176
原创 机器学习（二）
线性回归问题怎么找到合适的模型找到一条最合适的能够拟合数据的线，即一个线性或非线性方程，求出其参数，模型即可知。接下来的问题是，如何求这个参数？ 随意给定几个参数，得到的模型跟最佳模型肯定有一定的误差，据此，我们可以定义一个代价函数，使这个代价函数最小，模型也就是最合适的一个。要想找到合适的参数，可以使用梯度下降法...
2018-07-15 10:32:48
107
原创 线性代数（六）
行列式一、 1、行列式的意义：通过一个数来尽可能的表达行列式的信息 2、行列式的基本性质： 1) det(I)=1det(I)=1\det (I) = 1 2) 交换行，行列式的值会相反 3）矩阵的数乘与相加可以进行分解 4）两行相等行列式为0 5）从某行加减另一行的k倍，行列式不变 6) 某一行为0，行列式为0...
2018-07-14 15:25:19
292
原创 线性代数（五）
一、正交 1、零空间不会因可逆因子而改变，也就是说有：N(CD)=N(D)N(CD)=N(D)N(CD) = N(D) 其中，C是可逆矩阵 2、零空间与行空间正交，列空间与左零空间正交 3、如何求一个不可解的方程的最优解呢？可以利用这个方程：ATAx=ATbATAx=ATb{A^T}Ax = {A^T}b，需要了解的是，转置乘以自身，是对称的，但并非总是可逆的。 4、一些重要的结论：N(A...
2018-07-11 15:46:16
262
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人