GoodShot的专栏

转载 标准化、归一化（二）

答一：归一化方法：1、把数变为（0，1）之间的小数主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速。2、把有量纲表达式变为无量纲表达式归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量。 标准化方法： 数据的标准化是将数据按比例缩放，使之落入一个小的特定区间。由于信用指标体系的各个指标度量单

转载 正则化、归一化含义解析（一）

原创 方差、标准差、均方差、均方误差区别总结

参考了http://blog.csdn.net/Leyvi_Hsing/article/details/54022612一、百度百科上方差是这样定义的： （variance)是在概率论和统计方差衡量随机变量或一组数据时离散程度的度量。概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。统计中的方差（样本方差）是各个数据分别与其平均数之差的平方的和的平均数。(由于是从具体样

转载 数字图像处理中的高通滤波和低通滤波

高通滤波：边缘提取与增强低通滤波：边缘平滑边缘区域的灰度变换加大，也就是频率较高。所以，对于高通滤波，边缘部分将被保留，非边缘部分将被过滤；对于低通滤波，边缘区域将被平滑过渡。

原创 先验概率 后验概率 条件概率 概率分布 贝叶斯公式

根据知乎作者史海波及其它资料整理：1.【对上帝来说，一切都是确定的，因此概率作为一门学问存在，正好证明了人类的无知。好在人类还是足够聪明的，我们并没有因为事物是随机的而束手无措，我们根据事物的可能性来决定我们的行为。比如，某个人抢银行之前，一定反反复复考虑过各种可能性。如果人们要等到一切都确定后再做，那么你可能什么都做不了，因为几乎一切都是随机的。一个事情有N种发生的可能性

转载 算法中的算子是什么意思,图像处理一样理解

数学中的映射,当映射的作用是把函数映成函数,或者函数映成数的时候,这个映射常常叫做算子.比如微分算子D,把就是把函数f作用后,把f映成f的导函数.拉普拉斯算子是一种二阶微分算子.图像处理里都把图像看成R^2上的函数，每个像素只是这个函数的采样点。在这个意义下，算子就是把一个R^2上的函数变化到另一个R^2上的函数的一个变换。(表面上看，原图每个点到另一幅图的

转载 LVQ，Learning Vector Quantization，学习向量量化

LVQ，Learning Vector Quantization，学习向量量化LVQ需要数据样本带有类别标记，学习过程中需要利用这些监督信息来辅助聚类。 接受代标记的数据集D和原型向量个数k，以及初始化的原型向量标记ti,ti∈Y,i=1,2,…,k，学习率参数η∈(0,1)。输出为原型向量q1,q2,…,qk。 为更清晰的描述LVQ，我们假设样本集为D={(x1,y1),

转载 K-Means聚类算法的原理及实现

K-Means聚类算法的原理及实现【转】【转】http://www.aboutyun.com/thread-18178-1-1.html问题导读：1、如何理解K-Means算法？2、如何寻找K值及初始质心？3、如何应用K-Means算法处理数据？K-Means是聚类算法中的一种，其中K表示类别数，Means表示均值。顾名思义K-Means是一种通过均值对

转载 傅立叶变换、拉普拉斯变换、Z变换的联系？为什么要进行这些变换。研究的都是什么？

作者：Heinrich链接：https://www.zhihu.com/question/22085329/answer/20258145来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。这三种变换都非常重要！任何理工学科都不可避免需要这些变换。这三种变换的本质是将信号从时域转换为频域。傅里叶变换的出现颠覆了人类对世界的认知：世界不仅可以看作

转载 实对称矩阵

如果有n阶矩阵A，其各个元素都为实数，矩阵主要性质：1.实对称矩阵A的不同特征值对应的特征向量是正交的。2.实对称矩阵A的特征值都是实数，特征向量都是实向量。3.n阶实对称矩阵A必可对角化，且相似对角阵上的元素即为矩阵本身特征值。4.若λ0具有k重特征值　必有k个线性无关的特征向量，或者说必有秩r(λ0E-A)=n-k，其中E为单位矩阵。A的

转载 傅里叶变换的推导

傅里叶变换 编辑一种积分变换，它来源于函数的傅里叶积分表示。积分 　　　(1)称为ƒ 的傅里叶积分。周期函数在一定条件下可以展成傅里叶级数，而在(－∞,∞)上定义的非周期函数ƒ，显然不能用三角级数来表示。但是J.-B.-J.傅里叶建议把ƒ表示成所谓傅里叶积分的方法。设ƒ(x)是(-l,l)上定义的可积函数，那么在一定条件下，ƒ(x)可以用如下的傅里叶级数来表示：

转载 协方差矩阵的几何解释--协方差矩阵的特征值分解部分，很好的解释了奇异值分解主成分选择的原因

http://www.360doc.com/content/16/0121/13/13800296_529534763.shtmlA geometric interpretation of the covariance matrixhttp://www.visiondummy.com/2014/04/geometric-interpretation-covariance

转载 如何将Anaconda更新到想要的python版本(其实使用的是Anaconda中的切换不同环境的方法，不过步骤挺好)

最近用Anaconda比较多，因为它里面的包很全啊。如果下个原生的python，要用的时候得自己一个个装。但是有些包又互相依赖，一个个装的时候实在很抓狂。懒人就想到了anaconda这种套装集合了。 问题来了：Anaconda只能下载一个版本的python，比如最新的Anaconda 4.4,只能下载python3.6和python2.7的版本，可是姑娘我要用python3

原创 主成分分析PCA

主成分分析PCA降维的必要性1.多重共线性--预测变量之间相互关联。多重共线性会导致解空间的不稳定，从而可能导致结果的不连贯。2.高维空间本身具有稀疏性。一维正态分布有68%的值落于正负标准差之间，而在十维空间上只有0.02%。3.过多的变量会妨碍查找规律的建立。4.仅在变量层面上分析可能会忽略变量之间的潜在联系。例如几个预测变量可能落入仅反

转载 numpy.cov() 计算协方差矩阵

在PCA中会用到，记录一下numpy.cov()的作用是计算协方差矩阵，下面给出几个例子[python] view plain copy>>> x = np.array([[0, 2], [1, 1], [2, 0]]).T  >>> x  array([[0, 1, 2],         [2, 1, 0]])  

转载 详解协方差与协方差矩阵

协方差的定义 对于一般的分布，直接代入E(X)之类的就可以计算出来了，但真给你一个具体数值的分布，要计算协方差矩阵，根据这个公式来计算，还真不容易反应过来。网上值得参考的资料也不多，这里用一个例子说明协方差矩阵是怎么计算出来的吧。记住，X、Y是一个列向量，它表示了每种情况下每个样本可能出现的数。比如给定则X表示x轴可能出现的数，Y表示y轴可能出现的。注意这里是关键，给定了4

原创 icml和nips等各类重要会议论文收集

icml和nips，足矣nips全部论文在：https://papers.nips.cc/icml全部论文在：http://jmlr.org/proceedings/从新往旧一点点看，功力会暴涨。

原创 icml和nips等会议论文地址

icml和nips，足矣nips全部论文在：https://papers.nips.cc/icml全部论文在：http://jmlr.org/proceedings/ICDMhttp://www.cs.uvm.edu/~icdm/

转载 通俗理解“Schmidt正交化”和“正交矩阵” 此博文包含图片 (2015-05-19 09:50:47) 施密特正交化在空间上是不断建立垂直于原次维空间的新向量的过程。 如图β2垂直于β1（1维）

通俗理解“Schmidt正交化”和“正交矩阵”施密特正交化在空间上是不断建立垂直于原次维空间的新向量的过程。如图β2垂直于β1（1维）构建新2维，β3垂直于β1β2（2维）构建新3维。新βn等于αn减去αn在各βi（i最大到n-1）上的投影矢量的结果。投影矢量可理解为α在沿β方向上的分解量，即某Scal

转载 7种回归模型

【编者按】回归分析是建模和分析数据的重要工具。本文解释了回归分析的内涵及其优势，重点总结了应该掌握的线性回归、逻辑回归、多项式回归、逐步回归、岭回归、套索回归、ElasticNet回归等七种最常用的回归技术及其关键要素，最后介绍了选择正确的回归模型的关键因素。什么是回归分析？回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分

转载 对线性回归、逻辑回归、各种回归的概念学习

回归问题的条件/前提：1） 收集的数据2） 假设的模型，即一个函数，这个函数里含有未知的参数，通过学习，可以估计出参数。然后利用这个模型去预测/分类新的数据。1. 线性回归假设 特征 和 结果 都满足线性。即不大于一次方。这个是针对 收集的数据而言。收集的数据中，每一个分量，就可以看做一个特征数据。每个特征至少对应一个未知的参数。这样就形成了一个线性

转载 分类和回归的区别和联系

先简单的说下吧，下面给出实际例子类和回归的区别在于输出变量的类型。定量输出称为回归，或者说是连续变量预测；定性输出称为分类，或者说是离散变量预测。举个例子：预测明天的气温是多少度，这是一个回归任务；预测明天是阴、晴还是雨，就是一个分类任务。 拿支持向量机举个例子，分类问题和回归问题都要根据训练样本找到一个实值函数g(x)。回归问题的要求是：给

转载 二项分布和多项分布

0-1分布：在一次试验中，要么为0要么为1的分布，叫0-1分布。二项分布：做n次伯努利实验，每次实验为1的概率为p,实验为0的概率为1-p;有k次为1，n-k次为0的概率，就是二项分布B(n,p,k)。二项分布计算：B（n,p,k) = 换一种表达方式，做n次伯努利实验，每次实验为1的概率是p1, 实验为0的概率是p2,有p1+p2=1；

转载 大数据和人工智能时代下的运筹学

首发于[运筹帷幄]大数据和人工智能时代下的运筹学大话“人工智能、数据科学、机器学习”--综述12 个月前作者系美国克莱姆森大学运筹学硕士，Ph.D. Candidate，师从整数规划大师W. Adams，后跳槽至欧盟玛丽居里博士项目，期间前往意大利IBM Cplex实习半年，现任德国海德堡大学交叉学科计算中心、组合

转载 想学数据分析（人工智能）需要学哪些课程？

转自：Robin Shen 前言--正本清源：优化理论（运筹学），研究的是如何求解目标函数在约束条件下的最优解。机器学习、人工智能中的绝大部分问题，到最后基本都会归结为求解优化问题，因此学习优化理论是非常有必要的。机器学习中用到的优化，只是整个运筹学（最优化理论）中的一瞥。只需一门NumericalOptimization(数值优化)或ConvexOptimization(凸优化)即可。还

转载 想学数据分析（人工智能）需要学哪些课程？

本文转自：Robin Shen利益相关：楼主以应用数学和运筹学的背景转到博士德国海德堡大学机器学习、计算机视觉这俩个数据分析（人工智能）的分支里来，希望对想入门数据科学和人工智能的朋友们有点借鉴作用。 首先如果对人工智能、数据科学还不是很了解的同学，可参考以下综述：大话“人工智能、数据科学、机器学习”--综述 - 知乎专栏 先说点宽泛的、上纲上线的东西。(要干货

转载 关联规则应用场景实例十则

本文整理了10个天池、DataCastle、DataFountain等中出现的，可使用聚类算法处理的问题场景实例。1 基于用户位置信息的商业选址        随着信息技术的快速发展，移动设备和移动互联网已经普及到千家万户。在用户使用移动网络时，会自然的留下用户的位置信息。随着近年来GIS地理信息技术的不断完善普及，结合用户位置和GIS地理信息将带来创新应用。如百度

转载 聚类算法应用场景实例十则

本文整理了10个天池、DataCastle、DataFountain等中出现的，可使用聚类算法处理的问题场景实例。1 基于用户位置信息的商业选址        随着信息技术的快速发展，移动设备和移动互联网已经普及到千家万户。在用户使用移动网络时，会自然的留下用户的位置信息。随着近年来GIS地理信息技术的不断完善普及，结合用户位置和GIS地理信息将带来创新应用。如百度

转载 机器学习算法应用场景实例六十则

本文整理了60个机器学习算法应用场景实例，含分类算法应用场景20个、回归算法应用场景20个、聚类算法应用场景10个以及关联规则应用场景10个。包含了天池、DataCastle、DataFountain中所有竞赛场景。目录1 分类算法应用场景实例1.1 O2O优惠券使用预测1.2 市民出行选乘公交预测1.3待测微生物种类判别

原创 java项目打jar包的两种情况

java项目打jar包的两种情况本文介绍一下java项目打jar包时的两种情况各怎么操作方法/步骤1.  1一、java项目没有导入第三方jar包这时候打包就比较简单：1.  首先在Eclipse中打开项目， 右键点击项目，选择“Export”； 2. 选择Java/JAR file，Next； 3. Select

转载 Eclipse引入jar包步骤

在编写java代码时，为方便编程，常常会引用别人已经实现的方法，通常会封装成jar包，我们在编写时，只需引入到Eclipse中即可。工具/原料Eclipse需要引入的jar包方法/步骤首先在项目下创建一个文件夹，保存我们的jar包。在项目名上右击，依次点击【N

转载 eclipse怎样创建并运行java项目

今天为大家介绍一下怎样创建java项目，以及怎样运行一个简单的java类，对myeclipse的功能很强大，大家可以继续深入的研究......工具/原料电脑myeclipse方法/步骤1打开myeclipse，选择File->new->java project

转载 如何快速查找下载java项目所需jar包

如何快速查找下载java项目所需jar包？ JAVA开发过程中，有时需要查找一些jar包，有什么方法可以快速的查找并下载到项目所需jar包？------------有效建议1------------Java jar 包查询下载方法做过java开发的工程师，对java应用所需jar包一定不会陌生。特别是有需要搭建开发环境时，对各种jar包的需求量就会很大。如何快速的找到自己想要的jar包，是蛮多ja...

转载 DIV+CSS规范命名大全集合

网页制作中规范使用DIV+CSS命名规则，可以改善优化功效特别是团队合作时候可以提供合作制作效率，具体DIV CSS命名规则CSS命名大全内容篇。常用DIV+CSS命名大全集合，即CSS命名规则DIV CSS命名目录命名规则说明重要CSS命名CSS命名参考表命名技巧我们开发CSS+DIV网页（Xhtml）时候,比较困惑和纠结的事就是CSS命名

转载 说说C#的async和await

C# 5.0中引入了async 和 await。这两个关键字可以让你更方便的写出异步代码。看个例子：[csharp] view plain copy public class MyClass  {      public MyClass()      {          DisplayValue(); //这里不会阻

原创 软件中的1、同步调用；2、回调；3、异步调用

软件模块中存在一定接口，从调用方式上分为三类1、同步调用；2、回调；3、异步调用首先，同步调用是一种阻塞式调用，调用方要等待对象执行完毕才返回。它是一种单向调用。其次，回调是一种双向调用模式，也就是说，被调用方在接口被调用得同时会调用对方得接口。最后，异步调用是一种类似消息或者事件的机制，不过它的调用方向刚好相反，接口的服务在收到被调用的信息或事件时，会主动调用（调

转载 SPI、I2C、UART三种串行总线协议的区别

SPI、I2C、UART三种串行总线协议的区别第一个区别当然是名字：     SPI(Serial Peripheral Interface：串行外设接口);     I2C(INTER IC BUS)     UART(Universal Asynchronous Receiver Transmitter：通用异步收发器)第二，区别在电气信号线上：

原创 Zigbee网络架构+ZigBee的体系结构+理解zigbee节点的实现的案例+“51单片机” 和 “zigbee” 、 “cc2530芯片” 之间的关系+芯片cc2530

ZigBee技术具有强大的组网能力，可以形成星型、树型和网状网，可以根据实际项目需要来选择合适的网络结构；以下拓扑结构的节点，均是指支持zigbee协议的并以其通信技术手段，实现节点处所需要功能的产品（例如，完整的电路板，参考后面）。星形拓扑是最简单的一种拓扑形式，他包含一个Co-ordinator（协调者） 节点和一系列的 End Device（终端）节点。每一个End

转载 微软认知服务开发实践（2） - 计算机视觉

前言计算机视觉所涉及的面很广泛，Computer Vision API中提供了几个常用的分析功能，可实现解读图片内容信息，对图片进行OCR识别，生成缩略图，未来也许会增加更多功能。本文将针对其分别是本文将针对Cognitive Services中提供的功能的调用方法做一些讲解。Computer Vision API图片的格式需要是JPEG、PNG、GIF以及

转载 微软认知服务开发实践（1） - 牛津计划简介

简介近些年来由于云平台、大数据、高性能计算、机器学习等领域的进步，人工智能也火了起来。人脸识别、语音识别等相关功能早已被提出，但是能够形成产品并大规模使用的很少。因为非专业人员很难独自实现一套完整人工智能方案，涉及人工智能基本只能去找开源的库，毕竟所以自己去训练网络，自己去学习各种库的使用并移植到自己的程序中。在实现一些产品上，使用人工智能比开发人工智能其实更重要，所以微软提出了“牛津计划