cuihuan1702-CSDN博客

转载机器学习

KL散度的计算现在，我们能够量化数据中的信息量了，就可以来衡量近似分布带来的信息损失了。 KL散度的计算公式其实是熵计算公式的简单变形,在原有概率分布 pp 上，加入我们的近似概率分布 qq，计算他们的每个取值对应对数的差： DKL(p||q)=∑i=1Np(xi)⋅(logp(xi)−logq(xi))N算法解决的就是这样的问题，他通过对每一层的输入进行归一化，保证每层的输入数据分布是稳定的，从...

2018-04-23 21:32:53 233

转载机器学习三

作者：知乎用户链接：https://www.zhihu.com/question/29021768/answer/43488153来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。第一个问题：为什么引入非线性激励函数？如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入...

2018-04-02 21:34:52 162

原创 TOP K

Lintcode 544. 前K大数小顶堆class Solution {public: /** * @param nums: an integer array * @param k: An integer * @return: the top k largest numbers in array */ vector<int> topk(ve...

2018-03-16 20:46:27 191

转载堆算法(make_heap,push_heap,pop_heap, sort_heap)

算法：对vector进行堆排序1// range heap example12345678910111213141516171819202122232425262728#include <iostream>#include <algorithm>#include <vector>using namespace std; int main () { int my...

2018-03-16 20:12:39 337

转载集成学习方法

集成学习正广泛地被应用于机器学习/数据挖掘的实际项目之中。掌握集成学习方法，了解其特性与适用场景，对机器学习理论与实践的结合帮助甚大。这里，我们考察集成学习最重要的两种类型：装袋（Bagging）与提升（Boosting），从其两大算法入手：Random Forest、GBDT，基于自己生成的数据集场景和UCI数据集开展实验，对比分析算法的表现。基础简要回顾关于集成学习，引用博文笔记︱集成学习En...

2018-03-15 17:28:25 651

转载机器学习中的维数灾难

一.引言这里我们将要讨论所谓的“维数灾难”，同时结合过拟合现象来解释它在分类器学习中的重要性。举一个分类应用的简单例子，假设我们有一系列的图片，每张图片的内容可能是猫也可能是狗；我们需要构造一个分类器能够对猫、狗自动的分类。首先，要寻找到一些能够描述猫和狗的特征，这样我们的分类算法就可以利用这些特征去识别物体。猫和狗的皮毛颜色可能是一个很好的特征，考虑到红绿蓝构成图像的三基色，因此用图片三基色各自...

2018-03-15 11:28:47 502

转载求a+b及九余数定理

Calculate the sum of two integers a and b, but you are not allowed to use the operator + and -.Example:Given a = 1 and b = 2, return 3.思路: 这里用到了一个半加法的思想, 即两位单独的位相加其结果可以用异或得到, 进位可以用与得到. 然后对

2017-10-18 15:15:01 254

转载 12种排序算法

2017-10-18 11:19:08 2324

原创遇到问的机器学习基本问题（2）

1. logistic回归手动求导2. SVM支持向量机

2017-10-16 16:06:58 325

转载遇到问的机器学习基本问题（1）

1）.什么是过拟合？欠拟合问题，根本的原因是特征维度过少，导致拟合的函数无法满足训练集，误差较大。欠拟合问题可以通过增加特征维度来解决。过拟合问题，根本的原因则是特征维度过多，导致拟合的函数完美的经过训练集，但是对新数据的预测结果则较差。解决过拟合问题：减少特征维度; 可以人工选择保留的特征，或者模型选择算法正则化; 保留所有的特征，通过降低

2017-10-16 14:56:28 479

转载一些面试题

1.　　给你一个长度为N的链表。N很大，但你不知道N有多大。你的任务是从这N个元素中随机取出k个元素。你只能遍历这个链表一次。你的算法必须保证取出的元素恰好有k个，且它们是完全随机的（出现概率均等）。解：先选中前k个，从第k+1个元素到最后一个元素为止，以k/i (i=k+1, k+2,...,N) 的概率选中第i个元素，并且随机替换掉一个原先选中的元素，这样遍历一次得到k个元素，

2017-10-14 09:28:44 255

转载 ROC与AUC曲线

作者：京东白条链接：https://www.zhihu.com/question/30643044/answer/222274170来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。精确率、召回率、F1、AUC和ROC曲线其实都是评价模型好坏的指标，而且相互之间是有关系的，只是侧重点不同，题主如果理解了各指标的定义就能找出他们的区别与联系，下面就

2017-10-13 20:45:35 4136

转载 new与malloc的10点区别

将上面所述的10点差别整理成表格：特征new/deletemalloc/free分配内存的位置自由存储区堆内存分配失败返回值完整类型指针void*内存分配失败返回值默认抛出异常返回NULL分配内存的大小由编译器根据类型计算得出必须显式指定字

2017-10-13 20:13:20 811

原创交换两数组中的元素使得这两个数组的差最小

交换两数组中的元素使得这两个数组的差最小a1=A-Ba2=(A-a[i]+b[j])-(B-b[j]=a[i])=(A-B)-2*(a[i]-b[j])=a1-2*(a[i]-b[j])a[i]-b[j]~~(0,a1) min=a1/2;// ConsoleApplication1.cpp : 定义控制台应用程序的入口点。//#include "st

2017-10-13 16:23:01 750

原创最大连续子序列和问题O(N)复杂度

#include "stdafx.h"#includeusing namespace std;void FinSum(int A[],int len){ int Subsum = 0; int Subsum2 = 0; for (int i = 0; i < len; i++) { if (Subsum2>0) Subsum2 += A[i]; else {

2017-10-13 16:11:18 289

原创异或定理

由n个元素组成的数组，n-2个数出现了偶数次，两个数出现了奇数次，且这两个数不相等，如何用O(1)的空间复杂度，找出这两个数思路分析：方法一：涉及到两个数，就要用到异或定理了：若a^b=x，则a=b^x，b=x^a。对于这道题，假设这两个数分别为a、b，将数组中所有元素异或之后结果为x，因为a!=b，所以x=a^b，且x!=0，判断x中位为1的位数，只需要知道某一个

2017-10-13 15:21:32 682

转载决策树（ID3、C4.5、CART、随机森林）

决策树（ID3、C4.5、CART、随机森林）原创 2016年05月13日 19:17:53 7619 2

2017-10-13 14:58:28 518

转载最长公共子序列的问题

动态规划既然是经典的题目肯定是有优化空间的，并且解题方式是有固定流程的，这里我们采用的是矩阵实现，也就是二维数组。第一步：先计算最长公共子序列的长度。第二步：根据长度，然后通过回溯求出最长公共子序列。现有两个序列X={x1,x2,x3，...xi}，Y={y1,y2,y3，....，yi}，设一个C[i,j]: 保存Xi与Yj的LCS的长度。

2017-10-13 11:15:02 257

转载最长回文子串

2、动态规划回文字符串的子串也是回文，比如P[i,j]（表示以i开始以j结束的子串）是回文字符串，那么P[i+1,j-1]也是回文字符串。这样最长回文子串就能分解成一系列子问题了。这样需要额外的空间O（N^2)，算法复杂度也是O(N^2)。首先定义状态方程和转移方程：P[i,j]=0表示子串[i,j]不是回文串。P[i,j]=1表示子串[i,j]是回文串。

2017-10-12 09:23:45 186

转载 n个人排名，允许并列名次，共有多少种排名结果？

n个人排名，允许并列名次，共有多少种排名结果？经典问题了，可以考虑递推：假设n个人，排出了m个名次，有f(n,m)种结果（1当m=1f(n,m)=1当nf(n,m)=0当1假设n-1个人，排出了m个名次；新来1人，与前面某名次并列，有f(n-1,m)*m种结果假设n-1个人，排出了m个名次；新来1人，与前面名次都不并列，有f(n-1,m-1)*m种结果

2017-09-22 21:24:31 4192

cuihuan1702的博客