![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记
S_o_l_o_n
logic
展开
-
深度学习小思1
深度学习目前并没有一个统一的理论框架,没有理论上的解析解,模型的求解依赖于数值优化,因此,对深度学习模型架构的思考不能受限于naive的理论层面,而是应该结合优化算法。理论上,一个简单的MLP就应该可以拟合出所有的函数关系。但是在正确拟合的前提下,MLP模型架构中需要的参数过多(MLP自身可以组合衍生出其他架构),这会使得路径过多,且过于稀疏,从而通常的随机剃度下降算法的优化路径太多,学习难度会大大的提升,从而在MLP的前提下,难以学得正确的参数。因此,在算力和数据都有限的前提下,我们需要更加合理的模型原创 2021-12-04 23:28:20 · 2206 阅读 · 0 评论 -
numpy的整型数值溢出陷阱
numpy中的ndarray对于数值对象的数据类型具有严格要求,比如,假设一个数据类型为int32的ndarray,且数值较大,那么再继续对其做平方运算,假设平方运算之后的值已经超出了32位整型的最大范围,那么就会造成数值溢出。问题在于,numpy中对这个数值溢出并不是直接报错,而是会返回一些垃圾值,甚至有可能出现负值,这就使得运算结果无法预期,从而出错。但这个现象并不会出现在创建生成ndarray中,如果创建ndarray时,数值已经超出了指定数据类型的最大范围,那么numpy会报overflo...原创 2021-10-23 19:25:04 · 1114 阅读 · 0 评论 -
框架设计
为什么需要框架?针对某一类目的,为了实现这个目的,从最原始的端到目的之间会经历一系列可能的或者潜在的复杂步骤或者子任务,那么框架的作用就是为了对这一系列步骤进行高度的抽象解藕,并且标准化,使得我们可以专注于局部,只要符合标准规范即可。这样让分工协作成为可能,让精力可以只专注在一小部分,也让整个任务设计更加合理,更加健壮和复杂,工作更加高效。这是复杂项目所必须的。因此,框架实际是就是一种合理并且高度的抽象和解藕,是一种标准和规范。如何设计框架?一、首先对整个框架的目的和对应的业务需要熟悉,这样才可以做原创 2021-10-10 11:07:13 · 570 阅读 · 0 评论 -
在awk中引用shell外部变量
在shell脚本中,我们定义是shell的变量test,如果需要在awk语句中引用shell的变量test,那么一种方式就是在shell变量引用的基础上,再通过三重单引号括起来即可,即’’’$test’’’.原创 2021-04-08 14:39:46 · 329 阅读 · 0 评论 -
linux pkill命令的进程名长度限制
pkill后面跟一个进程名,可以杀掉该进程,并且该进程名不必写全,会根据写出的部分名称自动匹配符合该命名的进程。问题在于,pkill后面对于进程名长度是有限制的,限制字符长度不超过15个,如果超过15个,则该命令会失效,即无法杀死该进程。...原创 2021-04-02 19:21:37 · 482 阅读 · 0 评论 -
矩阵乘法的一种直观理解
本文的矩阵乘法指的是一个方阵左乘一个列向量,即: beta= A·alpha ,其中alpha和beta都是列向量。我们假设A是一个n阶的可逆非奇异矩阵,那么A存在n个特征向量和特征值。因此,对于任意n维向量alpha,其都可以表示成n个特征向量的线性组合,即alpha= a_1·x_1 + … + a_n·x_n,其中x_1,…, x_n为A的特征向量。因此根据特征值特征向量的定义,我们有:A·alpha=A·(a_1·x_1 + … + a_n·x_n)= lambda_1·a_1x_1 + … +原创 2021-03-28 21:38:30 · 696 阅读 · 1 评论 -
深度学习中独立同分布假设原因?是必要的吗?
独立同分布的假设指的是对于input的features,要求对于不同的采样是服从独立同分布的。那么为什么要这个假设呢?要明白这个假设的原因,我们需要先了解深度学习的基本原理。深度学习或者说神经网络的基本原理就是用一群基函数去逼近真实的features和target之间的关系。在实变函数中,有一个定理是,我们可以用阶梯函数去逼近任意的可测函数,这个定理给神经网络提供了理论基础,这也是为什么基函数往往是阶梯函数的变形或者引申,比如sigmoid函数就形似阶梯函数,不过其是可导的,这个对于梯度优化方法来说是相当原创 2021-02-21 13:45:39 · 4033 阅读 · 4 评论 -
理解泰勒展开的一种角度
我们可以用一个多项式函数去逼近一个连续可导的函数,泰勒展开就是求这样一个多项式函数。用一个函数去逼近一个函数,函数是一系列值,不是单个值,如果是单个值,那么很简单的直接让其相等即可,但是若是一系列值,且是连续可导的,自然的,除了让逼近的函数和原函数在某处的值相等以外,还需要让其变化趋势也一样,这样才是更好的逼近。变化趋势的含义就是导数,且是任意阶导数,因此我们要使得逼近函数和原函数在某处的任意阶导数相等,这样才是最好的逼近。进一步发现,如果在某处的任意阶导数相等,那么实际上逼近函数和原函数在该处的邻域原创 2021-02-18 16:59:21 · 363 阅读 · 0 评论