- 博客(48)
- 收藏
- 关注
RSS订阅原创 简单神经网络的“来龙去脉”
文章目录简单神经网络的“来龙去脉”正向传播反向传播梯度下降算法为何混入其中简单神经网络的“来龙去脉”众所周知，神经网络1有两次传播：正向输出结果，反向修正权重。我们可以摆脱数学的约束，来看看正向传播和反向传播中的某些关键。正向传播神经网络如何处理输入的原始数据并得到较为准确的结果？个人理解，通过神经网络节点之间的权重以及激活函数。权重对数据做出了相关的“选择”，可以“分辩”传递的数...
2018-11-25 23:02:33
373
原创 ML笔记——主成分分析（PCA）
目录想法数学表达胡思乱想时刻想法有时对于高维问题往往转化为低维问题更简单明了，如解二元一次方程组，将一个变量用另一个变量表示，转化为一元一次方程求解。 PCA也是将部分变量用其他变量替换，从而得到更简单的数据数学表达这篇文章（作者：刘建平Pinard）已经把要写的都写了胡思乱想时刻PCA、线性回归、SVM的差别 PCA是将数据降低维数...
2018-06-06 14:00:36
526
原创 ML笔记——K - means算法
目录想法数学表达胡思乱想时刻想法将未处理的数据投影到空间中，可以通过聚集程度将数据划分为几个族。如果认为的引入几个点，作为簇的代表，并以数据点到这几个点的聚集程度为依据将数据划分到对应的标记点代表的族中。此处的聚集程度可以考虑使用欧氏距离数学表达代价函数： J(c1,...,cm,μ1,...,μk)=1m∑mi=1∥xi−μci∥2J(c...
2018-06-04 15:48:55
323
原创 ML笔记——支持向量机（SVM)
目录想法数学表达胡思乱想时刻想法对于任意一个数据映射到多维空间，如果是不同的数据集之间必定存在间距，此时能用一个超平面就可以将其分开且间距最大数学表达处理线性问题 建设函数： hθ(x)={10ΘTX≥0ΘTX<0hθ(x)={1ΘTX≥00ΘTX<0h_\theta(x) = \left\{ \begin{array}{2} 1...
2018-05-30 17:36:36
427
原创 ML笔记——反向传播算法
目录想法数学表达想法如果将整个神经网络看作是一个复杂的函数 Fθ(x)Fθ(x)F_\theta(x) ，那么与线性回归和逻辑回归相似，选取一些恰当的 θθ\theta 值就可以得到假设函数。反向传播算法就是用来确定哪些恰当的 θθ\theta 值数学表达一些数学符号以及正向传播过程已经在神经网络中涉及，此处不做解释神经网络中结合正则化后的代价函...
2018-05-25 14:02:48
314
原创 ML笔记——正则化
目录想法数学表示胡思乱想时刻想法由于训练模型选择的过于复杂，或是训练数据集包含无用的数据，导致假设函数对于训练数据集拟合效果极好，然而对于测试数据集或预测的数据出现较大偏差。 对于上述问题，如果将训练模型简化，或者将无用数据剔除，就能改善这个问题。 正则化是通过某种“惩罚”措施，选择较小的θθ\theta值作为参数，从而达到模型的简化和数据的剔除。...
2018-05-16 15:49:44
308
原创 ML笔记——正规方程
目录想法数学表示胡思乱想时刻想法对于一个连续的函数，比如：y=ax2+bx+cy=ax2+bx+cy=ax^2+bx+c的极值点可以通过求导来确定。 对于y′=2ax+by′=2ax+by' = 2ax + b，当y′=0y′=0y' = 0时，有x=−b2ax=−b2ax = -\frac{b}{2a}，此时取得极值。数学表示对于代价函数 J(...
2018-05-09 13:48:32
446
原创 ML笔记——梯度下降
目录数学表达胡思乱想时刻数学表达求解代价函数J(θ0,θ1)J(θ0,θ1)J(\theta_0,\theta_1)中的θ0,θ1θ0,θ1\theta_0,\theta_1使得J(θ0,θ1)J(θ0,θ1)J(\theta_0,\theta_1)最小。θ0=0,θ1=0θ0=0,θ1=0\theta_0=0, \theta_1=0重复同时更新θj...
2018-04-28 14:30:23
239
原创 ML笔记——假设函数、代价函数
目录想法数学表示胡思乱想时刻想法对于如下的数据 选择合适的θ0,θ1θ0,θ1\theta_0, \theta_1使得假设的线性函数hθ(x)hθ(x)h_\theta(x)接近与训练数据(x,y)(x,y)(x, y)的yyy值数学表示假设的线性函数: hθ(xi)=θ0+θ1xihθ(xi)=θ0+θ1xih_\theta(x_i...
2018-04-27 15:01:27
1148
原创 线性代数——线性组合、线性空间、基底
目录线性组合线性空间基底线性组合线性组合就是关于向量的加法和向量的数乘的组合运算，即： au⃗+bv⃗au→+bv→a\vec u + b \vec v线性空间线性空间就是，若干个向量通过线性组合所得到的一个集合。 以下用两个向量的线性组合为例，更多的向量也可类推。 1. u⃗,v⃗两向量不共线.u→,v→两向量不共线.\vec u,...
2018-04-23 14:34:26
4664
原创 线性代数——向量、向量加法、向量数乘
目录向量向量加法向量数乘向量物理 在物理中，向量是直线加箭头。 其中的直线代表长度，箭头代表方向。 只要长度和方向相同，那么空间中任意的两个向量也相同。计算机 在计算机学科中，向量代表一个有序的数表。 如： ⎡⎣⎢⎢122140⎤⎦⎥⎥[122140]\begin{bmatrix}\begin{array...
2018-04-15 18:43:52
23718
原创 用词云做我的头像
虽然还不对Python有很深的理解，就献丑啦。将最近生成词云的坎坷经历记录一下。 Python的安装这些就不多说了。 这里有几个参照的经验帖： 第一个A，第二个B。 先介绍一下本机环境为Win7下安装的是Python3.5版本。 第一个悲剧——如何安装Wordcloud 两个经验中都提到了如何安装，由于是在Win7下，所以只能通过Python中的pip命令进行安装。但在这个过程中，我更新
2017-05-31 23:46:54
1332
原创 几百年前的东西
最近一个月左右整理的东西，基本上都是关于图论的。 最短距离 最小生成树 连通性 网络流 以及还有下面关于最短路的题目。 一些题目是来自与Vjudge上的，以下也给出了题目的链接。/* *http://poj.org/problem?id=2387 *Memory 4692 *Time 79*/#include <iostream>using namesp...
2017-04-23 11:41:41
338
原创 网络流
真的是浅浅的了解了一下网络流。其中增广路径和残余网络，需要理解清楚，这对于算法的理解是有帮助的。可以看看别人上传的资料/* *http://poj.org/problem?id=3281*/
2017-04-19 16:10:34
323
原创 两题连通性
很早以前做的两道题，直接套了两个模板。 关于模板，简单整理了一下。UVa796 In a computer network a link L, which interconnects two servers, is considered critical if there are at least two servers A and B such that all network int
2017-04-19 12:11:28
393
原创 图的连通
关于判断图是否连通，一般需要先了解： 1. DFS和BFS这两个搜索算法，或者说是遍历方式（实际上树的前中后序遍历和层次遍历分别就是DFS和BFS的运用）。 2. 对于图的建立此处就不在介绍了 （这里不对UnionFind在连通性的判断上做介绍。）连通图的概念这个链接里面，都有讲到，这个。 可能大神讲到有点抽象，小弟就做了如下图解（如有误，喷我）。 此外，链接中所讲的双连通分量，可
2017-04-19 11:20:38
812
原创 次小生成树
和最小生成树一块整理了吧，就简单的几个模板题。 上一篇文末已推荐两个次小生成树链接，此处不再引用。UVa 10600（由于UVa访问较慢，这里给出Vjudge的链接） In order to prepare the \The First National ACM School Contest” (in 20??) the major of the city decided to prov
2017-04-17 11:50:01
401
原创 最小生成树
以下介绍最小生成树的几个算法，Kruskal算法、Prim算法。 虽然网上有很多对于最小生成树的优质讲解，但是自己还是想写一下自己的理解与体会。 此处借用一下已有的经验（图解深深的吸引了我）。Kruskal先来讲一下kruskal算法，该算法的想法很简单，始终从未选取的边中选取最短的边并添加进去就好了。（此处未选取的边是指那些，边的任意一个顶点都没有被添加过），如有不明白的地方，请结合上面链接中
2017-04-17 10:45:12
419
原创 最短距离
关于最短距离的算法又重新整理了一下，主要包括Dijstra算法，Bellman-Ford算法、SPFA算法、Floyd算法。 关于一些我认为比较好的想法和思路，就直接借鉴了，此处就不重复造轮子了（主要是发现自己水平比不上他们，恩，就是这样子 （T~T））。 此外，这里的建图是邻接表的形式，如有其它形式会有说明。Dijkstra从相对熟悉的算法开始，Dijkstra算法是比较常用的，也是比较悠久的
2017-04-16 16:48:09
885
原创 坏学生旁听数学建模——作业一
终于蹭到了心心念的数学建模课，尽管不知道对未来意味着什么，我还是选择了旁听这门课，撂下了Web应用，不管了，以下是第一份实验报告。一、实验内容1、数学建模示例（三）：药物中毒的施救2、建立数学模型分析题（习题8（4）-（5））3、微分方程数值解及MATLAB实现二、实验题目（一）题目一题目： 药物中毒施救模型延伸 利用1.5节药物中毒施救模型确定对于孩子（血液总量为2000ml）及成人（血液总量
2017-03-12 22:20:35
3973
2
原创 回溯（Backtracking）
以下是我个人对回溯的理解。 回溯，是尝试列举出所有解决问题的方法。 即按照问题所给的操作方法，进行模拟，当在寻找解的过程中，发现不符合题意的解，返回至上一步，如此重复，直到寻找到满足问题的解的过程。 由于回溯过程会产生解空间树，可以将求解过程，看作是对树的遍历操作。在遍历的同时，判断是否在当前结点处继续往子树遍历的过程。接着是对ZOJ上的代码的整理：/* *ZOJ 1002 *judge
2017-02-26 15:55:26
850
原创 Union-Find
union-find用于动态连通性问题，根据某种连通关系，将可连通的两个集合合并在与同一集合中；当查询两个元素是否连通时，即判断是否处于同一集合。用于网络连通、变量名是否重名、数学集合等。Union-find的描述union-find数据结构：数组函数：初始化函数、unioned函数、find函数、isConnected函数、count函数。用C++描述如下cla
2017-01-22 20:39:18
390
原创 关于浙大OJ上的对C++的编译方式
浙大OJ平台上使用的是GNU gcc/g++ 4.7.2版本来对提交的代码进行编译。于是想了解一下这个编译器。该编译器关于对C++11的支持情况。关于 GNU C++ Library的文档以及GNU C Library的文档关于g++的参数的设置，以下选用Dev-C++做描述： 在Dev-C++选项栏上打开工具->编译选项。 在弹出的窗口中点击编译器：在编译时加入以下命令中添加“-lm –
2017-01-21 16:39:06
1572
原创 存储管理——置换策略
无论是否对内存进行扩容，如果面对这样的情况：需访问的数据或程序不在内存时，怎么将塞的满满当当的内存做出适当的调整，使新的程序装入内存，即内存的置换策略。下面将学习的几个置换策略重新描述一下。1. FIFO算法 将先进入内存的程序块，对于以后来说，可能是最先淘汰的。基于这个想法，采用先进先出的策略来做替换。 这个方法并没有考虑局部性原理，只考虑了程序的顺序执行。因而相对于后面的几个策略显得不
2016-12-27 22:22:25
1817
原创 存储管理——虚拟内存
存储管理中虚拟内存是当内存容量不足时需要考虑的一个问题。那么：1）虚拟内存是否可实现？2）虚拟内存如何扩展内存容量？接下来看看，怎么内存是通过外存来扩展的。1） 虚拟内存是否可以实现？ 为什么提出这个问题，实际上问的是这个问题：程序真的可以划分成很多块，取部分程序块装入较小的内存中，然后还能正确运行么？ 面对后者提问，可以将程序的逻辑地址正确转化物理地址，实现程序的分块；同时为了高效
2016-12-27 22:17:34
480
原创 存储管理——内存管理
存储管理中首先要面对的第一个boss是内存管理。内存管理需要考虑这两个问题： 1）内存管理需要解决什么问题？ 2）内存管理方式有哪些？
2016-12-27 22:07:57
845
原创 死锁了，怎么办？
早晨，迷糊的两个室友一个拿了牙膏，一个拿了牙刷。两个人同时，想拿到对方的东西，好在一个室友发现自己拿错了，相视一笑，说句调侃的话，就完事啦。 如果在计算机中，只用一套牙膏牙刷。此时两个进程，循环等待，便构成了死锁。听老师说这是个很严肃的问题，我们要认真对待（严肃脸）。 那么死锁了，怎么办呢？老师说，书上都写着。（鸦雀无声）好嘛，还是看书吧。死锁条件和模型
2016-12-03 16:52:31
1581
原创 如何使用信号量处理问题
从信号量的理论跨越到对其应用解决实际的问题，对于我这种人来说，是一个挑战。关于对信号量的一些理论性描述，在上次的整理中已经说明，此处就直接上题啦。1、生产者---消费者问题2、哲学家进餐问题3、理发师睡眠问题4、读者---写者问题5、两个进程流图，用信号量的P、V操作分别实现进程间的同步。6、一带闸门的运河，其上又两架吊桥。吊桥坐落在一条公路上，为使该公路避开一块沼泽地
2016-11-13 19:03:34
1988
原创 关于并发控制的简单整理
此处对并发控制的一些整理（前辈留的东西太多）我们先来看一个栗子：有两个机器人厨师，独立的同时在做菜，完成的菜品需要装盘。然而盘子只能有一个，这就比较尴尬啦，谁先用盘子，谁后用盘子？并发控制就是对多个进程（或线程）的资源所有权进行合理分配，以防进程之间发生必要的与资源相关的冲突。
2016-11-02 09:16:39
834
1
原创 好像是dekker算法的小历史
实在是无奈，OS老师一定要自学这篇博文的内容。大神，我就在此处全篇引用你的代码啦，包涵。以下正文 ……………………………………………………………………………… 对于每份代码，要求对代码写注释，写原理，还写缺陷。 int flag = 0; void process( ) { ... while(flag != 0) { /*do noting*/ } flag = 1; 访问临界区 flag =
2016-10-26 16:40:10
983
原创 数据结构
感谢陈越姥姥的PAT，提供了相关数据结构的练习。以下是关于数据结构的笔记和PAT上部分题目的提交代码。1、复杂度2、线性结构 2.1 堆栈 2.2队列3、树4、图5、排序6、散列
2016-09-07 14:35:52
424
原创 数据结构---散列
散列整型关键字的散列映射 (25分) 给定一系列整型关键字和素数PPP，用除留余数法定义的散列函数将关键字映射到长度为PPP的散列表中。用线性探测法解决冲突。输入格式:输入第一行首先给出两个正整数NNN（≤1000\le 1000≤1000）和PPP（≥N\ge N≥N的最小素数），分别为待插入的关键字总数、以及散列表的长度。第二行给出NNN个整型关键字
2016-08-31 10:09:51
1152
原创 数据结构---排序
排序魔法优惠券 (25分) 在火星上有个魔法商店，提供魔法优惠券。每个优惠劵上印有一个整数面值K，表示若你在购买某商品时使用这张优惠劵，可以得到K倍该商品价值的回报！该商店还免费赠送一些有价值的商品，但是如果你在领取免费赠品的时候使用面值为正的优惠劵，则必须倒贴给商店K倍该商品价值的金额…… 但是不要紧，还有面值为负的优惠劵可以用！（真是神奇的火星）例如，给定一组优
2016-08-31 09:51:14
1448
原创 数据结构---树
树二叉树还原二叉树 (25分) 给定一棵二叉树的先序遍历序列和中序遍历序列，要求计算该二叉树的高度。输入格式:输入首先给出正整数N（≤\le≤50），为树中结点总数。下面两行先后给出先序和中序遍历序列，均是长度为N的不包含重复英文字母（区别大小写）的字符串。输出格式:输出为一个整数，即该二叉树的高度。输入样例:9ABDFGHIECFD
2016-08-28 09:34:37
2484
1
原创 线性结构---队列
队列银行业务队列简单模拟 (25分) 设某银行有A、B两个业务窗口，且处理业务的速度不一样，其中A窗口处理速度是B窗口的2倍 —— 即当A窗口每处理完2个顾客时，B窗口处理完1个顾客。给定到达银行的顾客序列，请按业务完成的顺序输出顾客序列。假定不考虑顾客先后到达的时间间隔，并且当不同窗口同时处理完2个顾客时，A窗口顾客优先输出。输入格式:输入为一行正整数，其中第
2016-08-28 09:24:29
3329
原创 线性结构---堆栈
堆栈表达式转换 (25分) 算术表达式有前缀表示法、中缀表示法和后缀表示法等形式。日常使用的算术表达式是采用中缀表示法，即二元运算符位于两个运算数中间。请设计程序将中缀表达式转换为后缀表达式。输入格式:输入在一行中给出不含空格的中缀表达式，可包含+、-、*、\以及左右括号()，表达式不超过20个字符。输出格式:在一行中输出转换后的后缀表达式，要求不同对象
2016-08-26 15:10:30
1151
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人