鲨鱼大哥的专栏

计算机操作系统：https://blog.csdn.net/qq_32690999/article/details/78069414计算机网络题目整理：http://www.cnblogs.com/zyf-zhaoyafei/p/4716297.htmllinux 题目整理：http://www.cnblogs.com/mrgavin/p/9330912.htmlpytho...

简介转自：http://www.cnblogs.com/ymxiansen/p/5368547.html　　已经历经了半个世纪的卡尔曼滤波至今仍然是研究的热点，相关的文章不断被发表。其中许多文章是关于卡尔曼滤波器的新应用，但也不乏改善和扩展滤波器算法的研究。而对算法的研究多着重于将卡尔曼滤波应用于非线性系统。　　为什么学界要这么热衷于将卡尔曼滤波器用于非线性系统呢？因为卡尔曼滤波器从一...

extern1、声明外部变量extern 用来修饰变量或者函数名，用以在一个文件中定义，但是可以在其他文件中进行使用的。例如在A文件中定义了 全局变量 int mm=0;你在另一个文件B中也定 定义了 int mm=0; 编译时时候不会出错，因为编译时以文件为单位作用域在本文件中。但是在链接是后出错，因为他会将多文件进行合并生成obj 全局变量的存储空间合并为一块儿，导致重名；如果加上...

深度学习：hinton bp算法，李飞飞，吴恩达，黄广斌，路奇深度学习优化的超参数：1）学习率学习率（learning rate或作lr）是指在优化算法中更新网络权重的幅度大小。学习率可以是恒定的、逐渐降低的，基于动量的或者是自适应的。不同的优化算法决定不同的学习率。当学习率过大则可能导致模型不收敛，损失loss不断上下震荡；学习率过小则导致模型收敛速度偏慢，需要更长的时间训练。通常lr取值...

教你透彻了解红黑树原文：https://github.com/julycoding/The-Art-Of-Programming-By-July/blob/master/ebook/zh/03.01.md二叉查找树由于红黑树本质上就是一棵二叉查找树，所以在了解红黑树之前，咱们先来看下二叉查找树。二叉查找树（Binary Search Tree），也称有序二叉树（ordered bi...

支撑向量机 SVM1. 支撑向量机 SVM1. 什么是SVMSupport Vector Machine解决的是线性可分问题 Hard Margin SVM Soft Margin SVM2. SVM背后的最优化问题点到直线的距离支撑向量机我们也可以将两个式子变成一个最优化目标这是一个有条件的最优化问题3. Soft Margin SVM...

什么是多态：（哑巴了吧，你知道你倒是说呀），所谓多态也就是一个接口的多种实现方式。多态包括：虚函数，纯虚函数，覆盖，模板（重载与多态没有关系）虚函数：虚函数是带有virtual关键字的函数，定义一个函数为虚函数，定义他为虚函数是为了允许用基类的指针来调用子类的这个函数。纯虚函数是 类似 virtual void hanShu(int B)=0;这样的函数。带有纯虚函数的类是抽象类，必须实例...

进程与线程的理解：（1）调度：        在传统的操作系统中，CPU调度和分派的基本单位是进程。而在引入线程的操作系统中，则把线程作为CPU调度和分派的基本单位，进程则作为资源拥有的基本单位，从而使传统进程的两个属性分开，线程编程轻装运行，这样可以显著地提高系统的并发性。同一进程中线程的切换不会引起进程切换，从而避免了昂贵的系统调用，但是在由一个进程中的线程切换到另一进程中的线程，依然会...

轻松一下看一个例子：一片绿油油的草地上有一条曲折的小径，通向一棵大树。一个要求被提出：从起点沿着小径走到树下。“很简单。” A说，于是他丝毫不差地沿着小径走到了树下。现在，难度被增加了：蒙上眼。“也不难，我当过特种兵。” B说，于是他歪歪扭扭地走到了树 ………. 旁。“唉，好久不练，生疏了。”“看我的，我有 DIY 的 GPS！” C说，于是他像个醉汉似地走到了树………. 旁。“唉，这...

https://www.zhihu.com/question/41490383/answer/103006793

正则化方法：防止过拟合，提高泛化能力在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程，网络在training data上的error渐渐减小，但是在验证集上的error却反而渐渐增大——因为训练出来的网络过拟合了训练集，对训练集外的数据却效果变得越来越差。为了防止overfitting，可以用的方法

原文地址：一只鸟的天空，http://blog.csdn.net/heyongluoyao8/article/details/49429629防止过拟合的处理方法过拟合  我们都知道，在进行数据挖掘或者机器学习模型建立的时候，因为在统计学习中，假设数据满足独立同分布（i.i.d，independently and identically distributed），即当前已产生的数...

使隐藏层饱和了, 跟之前我们说的输出层饱和问题相似, 对于输出层,我们用改进的cost函数,比如cross-entropy, 但是对于隐藏层, 我们无法通过cost函数来改进更好的方法来初始化权重?因为传统的初始化权重问题是用标准正态分布（均值为0，方差为1）随机初始化的，这其实是存在不合理的部分。标准正态分布：可以看出真实数据的

Contents [hide]1 简介2 代价函数3 Softmax回归模型参数化的特点4 权重衰减5 Softmax回归与Logistic 回归的关系6 Softmax 回归 vs. k 个二元分类器7 中英文对照8 中文译者简介在本节中，我们介绍Softmax回归模型，该模型是logistic回归模型在多分类问题上的推广，在多分类问题中，类标

最近在看深度学习的东西，一开始看的吴恩达的UFLDL教程，有中文版就直接看了，后来发现有些地方总是不是很明确，又去看英文版，然后又找了些资料看，才发现，中文版的译者在翻译的时候会对省略的公式推导过程进行补充，但是补充的又是错的，难怪觉得有问题。反向传播法其实是神经网络的基础了，但是很多人在学的时候总是会遇到一些问题，或者看到大篇的公式觉得好像很难就退缩了，其实不难，就是一个链式求导法则反复用。如果

1.从方差代价函数说起代价函数经常用方差代价函数（即采用均方误差MSE），比如对于一个神经元（单输入单输出，sigmoid函数）,定义其代价函数为：其中y是我们期望的输出，a为神经元的实际输出【 a=σ(z), where z=wx+b 】。在训练神经网络过程中，我们通过梯度下降算法来更新w和b，因此需要计算代价函数对w和b的导数：然后更新w、b：