[置顶] [ML] 多任务学习以及流行正则化

华电北风吹 日期:2016-05-24本文只讨论fMRI,MEG,EEG等认知学科涉及到的数据和问题。线性回归容易因为过拟合而出现高方差,因此为了控制模型复杂度往往在线性回归的时候添加很多正则项,众所周知的就有L0,L1,L2L0,L1,L2,L1L1范式效果是使得参数每一项的值向0缩减,而L0,L2L0,L2范式则是通过将一些参数的权值归零来缩减特征的个数。一、多任务学习的提出 在多任务学习中...
阅读(793) 评论(0)

[置顶] ML—EM

华电北风吹 日期:2016-05-07EM算法是一个求解极大似然估计问题的迭代算法。EM算法对于给定的初始值都能够保证收敛,但不能保证全局收敛,对初始值敏感。一、EM算法引入 如果现在有一批服从于一个高斯分布的采样样本,想根据样本推测高斯分布的均值,我们知道只需要写出似然函数进行求导即可求解,并且这个高斯分布均值的极大似然估计就是所有采样样本的均值。 现在,让问题稍微复杂点,如果这批样本采样...
阅读(665) 评论(0)

[置顶] 单链表环存在问题的数学证明

华电北风吹 2016/3/2首先声明一下节点的定义。struct Node { int val; Node* next; public: Node(int v) :val(v), next(NULL) {} };本文的符号图示如下: 1、判断链表是否带环 判断链表是否带环,可以在头结点设两个指针,一个叫fast,一个叫slow,fast一下走两步,而slo...
阅读(456) 评论(2)

[置顶] ML—线性回归系列(四)—lasso&mtl

华电北风吹 日期:2015/11/25本文主要对套索回归(lasso)进行总结。 本系列的第一篇中线性回归的转化为如下的无约束优化问题 minθ∑mi=1(y(i)−θTx(i))2(0-1)\min_\theta \sum_{i=1}^{m}(y^{(i)}-\theta^Tx^{(i)})^2 \tag{0-1} 其中,x(i)∈Rn×1x^{(i...
阅读(520) 评论(0)

[置顶] ML—线性回归系列(一)—线性回归

华电北风吹 天津大学认知计算与应用重点实验室 日期:2015/11/25本来以为线性回归是一个特简单的东西,最近遇到很多基于线性回归的东西,才意识到我的无知。为了记录最近的学习历程,还是从线性回归开始系统总结一下吧。一、线性回归 在实际问题中,在考虑变量yy与另外一些变量x1,x2,...,xnx_1,x_2,...,x_n 之间关系的时候,为了简化往往考虑线性模型 hθ(x)=θ0+θ...
阅读(659) 评论(0)

[置顶] ML—SVM理论深度解析

华电北风吹 日期:2015/10/23本篇博客用来总结对SVM理论的理解,以及学习过程中思考的一些问题。一、SVM模型建立 对于线性可分的数据,SVM指导思想是寻找一个分类超平面,将两类样本分别划分到超平面两侧,并且使得每类的样本与分类超平面的距离达到最大。其中,每个类别中与分类超平面最近的点被称为支持向量。并且,容易知道,每个类别的支持向量到分类超平面的距离相等的时候才能达到最优分类超平面。...
阅读(923) 评论(0)

[置顶] ML—拉格朗日对偶和KKT条件

华电北风吹 天津大学认知计算与应用重点实验室 日期:2015/10/23本文基于斯坦福Andrew NG讲义和李航统计学习方法。一、拉格朗日乘数法 考虑如下等式约束优化问题。 minwmin_w f(w)f(w) s.t.s.t. hi(w)=0,i=1,2,...,l.h_i(w)=0,i=1,2,...,l. 在运筹学中有很多这样的例子划归到动态规划中。在数学分析中,一般是采用...
阅读(1278) 评论(0)

[置顶] ML—广义线性模型深度解析

华电北风吹 天津大学认知计算与应用重点实验室 最后修改日期 2015/11/3本文主要讲解我对GLM的理解,并将GLM推广到逻辑回归,线性回归和Softmax回归理论中。一、指数分布族(ExponentialFamily) 如果一个分布密度函数可以写成如下的形式 p(y,η)=b(y)eηTT(y)−a(η)(1-1)p(y,\eta)=b(y)e^{\eta^TT(y)-a(\eta)}...
阅读(13994) 评论(0)

[置顶] 计算一段连续数字的所有约数的和

华电北风吹 天津大学认知计算与应用重点实验室 最后修改日期:2015/8/22 怎么计算一段连续数字的所有约数的和?这是一个比较有趣的问题,因为这个问题本身特别简单,就是一个判断是不是约数,然后求和的问题,但是得到结果的快慢可能就会有天壤之别。 我们以"怎么计算10^12次方以内的所有数的约数的和",为例来说一个高效算法。 可以看到数字1,他是所有人的约数,数字2是所有偶数的约数...
阅读(8002) 评论(0)

[网易]2018校园招聘编程题真题集合

lazy_piger 华电北风吹 2017年9月16日题目: 小易准备去魔法王国采购魔法神器,购买魔法神器需要使用魔法币,但是小易现在一枚魔法币都没有,但是小易有两台魔法机器可以通过投入x(x可以为0)个魔法币产生更多的魔法币。 魔法机器1:如果投入x个魔法币,魔法机器会将其变为2x+1个魔法币 魔法机器2:如果投入x个魔法币,魔法机器会将其变为2x+2个魔法币 小易采购魔法神器总共需要...
阅读(51) 评论(0)

[爱奇艺]校招笔试(2017/9/11)

lazy_piger Sep 11, 2017工作好闲。参加校招笔试玩玩儿,题目很简单。题目2: 如果一个数字满足以下条件,就称它是奇异数 1、这个数字至少有两位 2、这个数字的最低两位是相同的 计算区间[L,R]内的所有奇异数。参考答案:#include using namespace std;long long func(long long v) { l...
阅读(62) 评论(0)

[EularProject]#Problem 74:Digit factorial chains

lazy_piger Sep 4, 2017The number 145 is well known for the property that the sum of the factorial of its digits is equal to 145:1! + 4! + 5! = 1 + 24 + 120 = 145Perhaps less well known is 169, in that...
阅读(40) 评论(0)

[Algorithm] beam search(集束搜索)

华电北风吹 2017年8月6日beam search是一个普通搜索算法的优化技巧。 拿A*为例来说,在nn维平面中,一个点有3n−13^n-1个邻接点,随着n的增加,需要保存的状态点的个数指数级增加。 如果内存不支持把所有的状态点都给保存了,而还想采用A*算法那怎么办?一个选择就是可以采用beam search的思路,比如说根据适应度函数只保存一半的状态点,或者更少。当然,缺点就是beam s...
阅读(89) 评论(0)

计算机科学中最重要的32个算法

英文原址:http://www.risc.jku.at/people/ckoutsch/stuff/e_algorithms.html奥地利符号计算研究所(Research Institute for Symbolic Computation,简称RISC)的Christoph Koutschan博士在自己的页面上发布了一篇文章,提到他做了一个调查,参与者大多数是计算机科学家,他请这些科学家投票选出...
阅读(65) 评论(0)

EularProject 71:Ordered fractions

lazy_piger 2017-07-16Consider the fraction, n/d, where n and d are positive integers. If n<<d and HCF(n,d)=1, it is called a reduced proper fraction.If we list the set of reduced proper fractions for...
阅读(330) 评论(0)

[Eularproject]#Problem 76:Counting summations

lazy_piger 2017-07-16It is possible to write five as a sum in exactly six different ways:4 + 1 3 + 2 3 + 1 + 1 2 + 2 + 1 2 + 1 + 1 + 1 1 + 1 + 1 + 1 + 1How many different ways can one hundred be...
阅读(225) 评论(0)

[HihoCoder]#1078 : 线段树的区间修改

华电北风吹 日期:2017-06-01题目链接: http://hihocoder.com/problemset/problem/1078题目分析: 目前超时,有空改改参考代码:#include #include using namespace std;#define INT_MAX 0x7fffffffstruct node { in...
阅读(111) 评论(0)

[Algorithm] 哈希

华电北风吹 日期:2017-05-30 哈希由于其高效的时间复杂度得到了很多的应用。 一、关键字查找 这个应该是Hash最基本的应用了。相比于线查的O(n),BST的O(nlog n)的时间复杂度,Hash仅仅需要O(1)的复杂度。 二、完美Hash 三、信息指纹 信息指纹的提出刚开始是为了解决搜索引擎遇到的各个网页网址过长的问题,利用Hash的方法,可以将各个网址压缩到一个固定宽度...
阅读(106) 评论(0)

C语言的指针

华电北风吹 日期:2017-05-25指针,数组,二级指针,指针数组,数组指针#include #include int main() { int val; int arr1[3] = {1, 2, 3}; int arr2[2][3]= {1, 2, 3, 4, 5, 6}; int *p; int *p1[3];...
阅读(92) 评论(0)

makefile小例子

华电北风吹 2017年4月9号一、用到的三个代码 主函数代码:#include #include #include "LinkList.h"int main() { LinkList* lst=(LinkList*)malloc(sizeof(LinkList)); InsertAtHead(lst,1); InsertAtHea...
阅读(134) 评论(0)

GDB调试指令

华电北风吹 2017年4月9日gcc mainfunc.c -o mainfunc -g上面的命令行中, -o 参数指定了编译生成的可执行文件名,参数 -g 表示将源代码信息编译到可执行文件中。如果不使用参数 -g,会给后面的GDB调试造成不便。当然,如果没有程序的源代码,自然也无从使用 -g 参数,调试/跟踪时也只能是汇编代码级别的调试/跟踪。gdbgdb命令启动GDB,并显示GDB说明file...
阅读(225) 评论(0)

GCC编译过程

1 简介 GCC 的意思也只是 GNU C Compiler 而已。经过了这么多年的发展,GCC 已经不仅仅能支持 C 语言;它现在还支持 Ada 语言、C++ 语言、Java 语言、Objective C 语言、Pascal 语言、COBOL语言,以及支持函数式编程和逻辑编程的 Mercury 语言,等等。而 GCC 也不再单只是 GNU C 语言编译器的意思了,而是变成了 GNU Compil...
阅读(311) 评论(0)

内存,磁盘,cache等访问速度

google 工程师Jeff Dean 首先在他关于分布式系统的ppt文档列出来的,到处被引用的很多。1纳秒等于10亿分之一秒,= 10 ^ -9 秒 Numbers Everyone Should Know L1 cache reference 读取CPU的一级缓存 0.5 ns Branch mispredict(转移、分支预测) 5 ns L2 cache reference 读取...
阅读(127) 评论(0)

Floyd-Warshall算法python代码

华电北风吹 2017年3月12日未连接的边需要赋一个初始值,可以把矩阵所有元素值相加再加1。附加功能是计算最短路径的条数。import sysdef Floyd(Graph,ShortestPath,PathCount): NodeNum=len(Graph) lastShortestDistance=[[0 for i in range(NodeNum)] for j in ran...
阅读(259) 评论(0)

[HihoCoder]#1268 : 九宫

华电北风吹 2017-03-04题目链接: http://hihocoder.com/problemset/problem/1268题目分析: 回溯,连剪枝都不用就ac。参考代码:#include #include using namespace std;bool visited[10]; vector<vector> result(3,...
阅读(125) 评论(0)

自组织临界理论 SOC

自组织临界理论(self-organized criticality,简称SOC)是一个有趣且影响较大的理论。该理论认为,由大量相互作用成分组成的系统会自然地向自组织临界态发展;当系统达到自组织临界态时,即使小的干扰事件也可引起系统发生一系列灾变。Bak等人(1988,Bak,1996)用著名的“沙堆模型”(sandpile model)来形象地说明自组织临界态的形成和特点。美国物理学家Per Ba...
阅读(237) 评论(0)

[EularProject]#Problem 99:Largest exponential

华电北风吹 2017-02-23Largest exponential Problem 99 Comparing two numbers written in index form like 211 and 37 is not difficult, as any calculator would confirm that 211 = 2048 < 37 = 2187.However, con...
阅读(111) 评论(0)

[HihoCoder]#1082 : 然而沼跃鱼早就看穿了一切

华电北风吹 2017-02-23题目链接: http://hihocoder.com/problemset/problem/1082题目分析: 本来以为要划分出单词判断的,没想到想多了。参考代码:#include #include using namespace std;char input[205]; char s1[10] = "marsht...
阅读(160) 评论(0)

历史上的三次数学危机

数学悖论与三次数学危机 陈基耿数学历来被视为严格、和谐、精确的学科,纵观数学发展史,数学发展从来不是完全直线式的,他的体系不是永远和谐的,而常常出现悖论。悖论是指在某一一定的理论体系的基础上,根据合理的推理原则,推出了两个互相矛盾的命题,或者是证明了这样一个复合命题,它表现为两个互相矛盾的命题的等价式[1]。数学悖论在数学理论中的发展是一件严重的事,因为它直接导致了人们对于相应理论的怀疑,而如果一...
阅读(136) 评论(0)
294条 共15页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:320795次
    • 积分:5848
    • 等级:
    • 排名:第4523名
    • 原创:280篇
    • 转载:14篇
    • 译文:0篇
    • 评论:57条
    博客专栏
    最新评论