2017年06月_chzeze

原创【机器学习】粗糙集属性约简算法与mRMR算法的本质区别

1. 粗糙集属性约简算法仅仅选出属性重要度大的条件加入约减中，没有考虑约简中条件属性相互之间的冗余性，得到的约简往往不是都必要的，即含有冗余属性。2. mRMR算法则除了考虑特征与类别之间的相关性，还考虑特征与特征之间的冗余度，约束特征与类别最大相关，特征与特征最小冗余。3. 根据mRMR算法，将粗糙集约简算法改进为最小相关最大依赖度属性约简的算法如下...

2017-06-28 20:16:00 506 1

原创【机器学习】DBSCAN Algorithms基于密度的聚类算法

一、算法思想： DBSCAN(Density-Based Spatial Clustering of Applications with Noise)是一个比较有代表性的基于密度的聚类算法。与划分和层次聚类方法不同，它将簇定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并可在噪声的空间数据库中发现任意形状的聚类。DBSCAN中的几...

2017-06-20 11:23:00 172

原创【机器学习】EM的算法

EM的算法流程：初始化分布参数θ；重复以下步骤直到收敛： E步骤：根据参数初始值或上一次迭代的模型参数来计算出隐性变量的后验概率，其实就是隐性变量的期望。作为隐藏变量的现估计值： M步骤：将似然函数最大化以获得新的参数值：这个不断的迭代，就可以得到使似然函数L(θ)最大化的参数...

2017-06-19 22:40:00 93

原创【机器学习】K-means聚类算法与EM算法

初始目的　　将样本分成K个类，其实说白了就是求一个样本例的隐含类别y，然后利用隐含类别将x归类。由于我们事先不知道类别y，那么我们首先可以对每个样例假定一个y吧，但是怎么知道假定的对不对呢？怎样评价假定的好不好呢？　　我们使用样本的极大似然估计来度量，这里就是x和y的联合分布P（x,y）了。如果找到的y能够使P(x,y)最大，那么我们找到的y就是样例x的最佳类别了，x顺手就聚类了...

2017-06-19 21:12:00 98

原创【机器学习】判别模型和生成模型

判别式模型（discriminative model）产生式模型（generative model）特点寻找不同类别之间的最优分类面，反映的是异类数据之间的差异对后验概率建模，从统计的角度表示数据的分布情况，能够反映同类数据本身的相似度区别(假定输入x,类别标签y)估计的...

2017-06-19 10:38:00 66

原创【自动化测试】selenium之 chromedriver与chrome版本映射表

chromedriver版本支持的Chrome版本v2.30v58-60v2.29v56-58v2.28v55-57v2.27v54-56v2.26v53-55v2.25v53-55v2.24v52-54v2.23v51-53v2.22...

2017-06-19 09:30:00 72

原创【Math】证明：实对称阵属于不同特征值的的特征向量是正交的

证明：实对称阵属于不同特征值的的特征向量是正交的.设Ap=mp,Aq=nq,其中A是实对称矩阵,m,n为其不同的特征值,p,q分别为其对应得特征向量.　　则　　p1(Aq)=p1(nq)=np1q　　　　　(p1A)q=(p1A1)q=(AP)1q=(mp)1q=mp1q　　因为　p1(Aq)= (p1A)q　　上两式作差得：　　　　　(m-n)p1q=0　　由于m不等于n,　　所以...

2017-06-16 10:41:00 868

原创【Math】协方差矩阵

一、统计学的基本概念统计学里最基本的概念就是样本的均值、方差、标准差。首先，我们给定一个含有n个样本的集合，下面给出这些概念的公式描述：均值：标准差：方差：　　均值描述的是样本集合的中间点，它告诉我们的信息是有限的，而标准差给我们描述的是样本集合的各个样本点到均值的距离之平均。　　以这两个集合为例，[0, 8, 12, 20]和[8, 9, 11, 12]，两个集...

2017-06-16 09:19:00 94

原创【机器学习】主成分分析PCA（Principal components analysis）

1. 问题真实的训练数据总是存在各种各样的问题：　　1、比如拿到一个汽车的样本，里面既有以“千米/每小时”度量的最大速度特征，也有“英里/小时”的最大速度特征，显然这两个特征有一个多余。　　2、拿到一个数学系的本科生期末考试成绩单，里面有三列，一列是对数学的兴趣程度，一列是复习时间，还有一列是考试成绩。我们知道要学好数学，需要有浓厚的兴趣，所以第二项与第一项强相关，第三项和第二项...

2017-06-16 09:00:00 90

原创【神经网络】BP算法解决XOR异或问题MATLAB版

第一种%%%用神经网络解决异或问题clearclcclosems=4;%设置4个样本a=[0 0;0 1;1 0;1 1];%设置输入向量y=[0,1,1,0];%设置输出向量n=2;%输入量的个数m=3;%隐层量的个数k=1;%输出层的个数w=rand(n,m);%为输入层到隐层的权值赋初值v=rand(m,k);%为隐层到...

2017-06-15 20:26:00 1030

原创【机器学习】粗糙集属性约简—Attribute Reduction

介绍　　RoughSets算法是一种比较新颖的算法，粗糙集理论对于数据的挖掘方面提供了一个新的概念和研究方法。本篇文章我不会去介绍令人厌烦的学术概念，就是简单的聊聊RoughSets算法的作用，直观上做一个了解。此算法的应用场景是，面对一个庞大的数据库系统，如何从里面分析出有效的信息，如果一database中有几十个字段，有我们好受的了，但是一般的在某些情况下有些信息在某些情况下是无...

2017-06-14 17:49:00 956

原创【Java】通用版URLConnection 带cookie下载PDF等资源文件

/**** * 下载pdf文件 */ public static void downloadNet(String urlStr, String fileName, String savePath) throws MalformedURLException { // 下载网络文件 int bytesum = 0; int byteread = 0;...

2017-06-14 08:53:00 113

原创【机器学习】粗糙集（Rough Set Approach）

粗糙集理论是一种研究不精确，不确定性知识的数学工具。粗糙集理论的知识表达方式一般采用信息表或称为信息系统的形式，它可以表现为四元有序组K=（U，A，V，P）。其中U为对象的全体，即论域；A是属性全体；V是属性的值域；P为一个信息函数，反映了对象x在K中的完全信息。粗糙集的思想为：　　一种类别对应一个概念（类别可以用集合表示，概念可以用规则描述），知识由概念组成；如果某个知识含...

2017-06-13 10:02:00 777

原创【机器学习】随机森林(Random Forest)

随机森林是一个最近比较火的算法它有很多的优点：在数据集上表现良好在当前的很多数据集上，相对其他算法有着很大的优势它能够处理很高维度（feature很多）的数据，并且不用做特征选择在训练完后，它能够给出哪些feature比较重要在创建随机森林的时候，对generlization error使用的是无偏估计训练速度快在训练过程中，能够检测到feature间...

2017-06-13 09:43:00 44

原创【Python】微博自动抢红包

# -*- coding: utf-8 -*-import requestsimport js2xmlfrom lxml import etreeheaders = {# 这边cookie替换成你的cookie'Cookie':'9b','User-Agent': 'Mozilla/5.0 (Linux; Android 4.0.4; Galaxy ...

2017-06-11 15:59:00 305

原创 sublime text3

Package Controlimport urllib.request,os,hashlib; h = 'df21e130d211cfc94d9b0905775a7c0f' + '1e3d39e33b79698005270310898eea76'; pf = 'Package Control.sublime-package'; ipp = sublime.installed_...

2017-06-06 12:11:00 40

原创【神经网络】BP反向传播神经网络

BP算法细节参数说明：假设有n层。J表示代价函数，和上面的E是同样的意思，只不过用不同的字母写而已。分析：要想知道第l层的第i个结点的残差，必须知道该节点所连接的下一层的各个结点的权值，以及这些结点的残差，幸亏第l+1层已经计算出来了残差，你只要把后面一层的每个结点j的残差乘以该结点与这一层的结点i相连的权值，然后加和，最后别忘了乘以这一层的激活方式的导数。...

2017-06-05 19:10:00 104

原创【MLP】多层感知机网络

BPN(Back Propagation Net)反向传播神经网络是对非线性可微分函数进行权值训练的多层网络，是前向神经网络的一种。BP网络主要用于：1)函数逼近与预测分析：用输入矢量和相应的输出矢量训练一个网络，逼近一个函数或预测未知信息；2)模式识别：用一个特定的输出矢量将它与输入矢量联系起来；3)分类：把输入矢量以所定义的合适方式进行分类；4)数据压缩：...

2017-06-05 18:34:00 188

原创【Bayesian】贝叶斯决策方法（Bayesian Decision Method）

　　已知某条件概率，如何得到两个事件交换后的概率，也就是在已知P(A|B)的情况下如何求得P(B|A)。这里先解释什么是条件概率：表示事件B已经发生的前提下，事件A发生的概率，叫做事件B发生下事件A的条件概率。其基本求解公式为：。贝叶斯定理之所以有用，是因为我们在生活中经常遇到这种情况：我们可以很容易直接得出P(A|B)，P(B|A)则很难直接得出，但我们更关心P(B...

2017-06-04 20:55:00 467

原创【机器学习】K近邻算法——多分类问题

　　给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例，这K个实例的多数属于某个类，就把该类输入实例分为这个类。KNN是通过测量不同特征值之间的距离进行分类。它的的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。K通常是不大于20的整数。KNN算法中，所选择的邻居都是已经正确分类的对...

2017-06-04 15:14:00 347

原创【机器学习】Softmax 和Logistic Regression回归Sigmod

二分类问题Sigmod　　在 logistic 回归中，我们的训练集由个已标记的样本构成：，其中输入特征。（我们对符号的约定如下：特征向量的维度为，其中对应截距项。）由于 logistic 回归是针对二分类问题的，因此类标记。假设函数(hypothesis function) 如下：我们将训练模型参数，使其能够最小化代价函数：多分类问题...

2017-06-04 14:43:00 132

原创【LDA】线性判别式分析

1.LDA是什么线性判别式分析（Linear Discriminant Analysis），简称为LDA。也称为Fisher线性判别（Fisher Linear Discriminant，FLD），是模式识别的经典算法，在1996年由Belhumeur引入模式识别和人工智能领域。基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征...

2017-06-04 09:12:00 133

原创【MLE】最大似然估计Maximum Likelihood Estimation

模型已定，参数未知　　已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。最大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。假设模型满足某种总体分布，但是不知道模型的参数，通过样本去估计参数。...

2017-06-02 22:16:00 100

原创 n阶方阵A可逆充分必要条件

n阶方阵A可逆充分必要条件：<=> A非奇异（非奇异矩阵就是对应的行列式不等于等于0的方阵）<=> |A|≠0<=> r(A) = n<=> A的特征值都不为0<=> 齐次线性方程组AX=0 仅有零解<=> 非齐次线性方程组AX=b 有唯一解<=> A可表示成初等矩阵的乘积<...

2017-06-02 21:19:00 2485

原创【机器学习】K-Means算法

　　K-Means算法是一种cluster analysis的算法，其主要是来计算数据聚集的算法，主要通过不断地取离种子点最近均值的算法。问题K-Means算法主要解决的问题如下图所示。我们可以看到，在图的左边有一些点，我们用肉眼可以看出来有四个点群，但是我们怎么通过计算机程序找出这几个点群来呢？于是就出现了我们的K-Means算法（Wikipedia链接）算法概要...

2017-06-02 19:13:00 58

Zeze