Panpan Wei的博客

原创 面向对象的三大特性：封装继承和多态

透切理解面向对象三大基本特性是理解面向对象五大基本原则的基础.三大特性是：封装,继承,多态所谓封装：也就是把客观事物封装成抽象的类，并且类可以把自己的数据和方法只让可信的类或者对象操作，对不可信的进行信息隐藏。封装是面向对象的特征之一，是对象和类概念的主要特性。 简单的说，一个类就是一个封装了数据以及操作这些数据的代码的逻辑实体。在一个对象内部，某些代码或某些数据可以是私有的，不能被外界...

原创 面试智力题

由甲乙丙丁四匹马赛跑,他们共进行了四次比赛，结果是甲快乙三次，乙又快丙三次，丙又快丁三次。很多人会以为，丁跑得慢些，但事实上。丁却快甲三次,这看似矛盾的结果可能发生吗?有可能因为甲快乙三次那么有一次就可以是乙快甲这样下去,就有可能出现丁快甲一次同样的因为乙又快丙三次所以有一次可以是丙快乙了这样下去,也有可能出现丁快甲一次同样的因为丙又快丁三次所以有一次可以是丁快丙了这样下...

原创 KNN和K-means详细介绍

在上一篇博文中介绍了KNN算法（https://blog.csdn.net/jodie123456/article/details/101595943），接下来继续介绍K-means算法：K-means（K均值聚类）：（属于无监督学习）K-means算法是一种简单的迭代型聚类算法，采用聚类作为相似性指标，从而发现给定数据集中的K个类，并且每一个类的中心是根据所有值得平均值得到的，每一个类用...

原创 KNN和K-means详细介绍

在对于初学者来说的话，在学习这两个算法的时候，容易搞混，下面将针对这两个算法做了一个详细的介绍。方便大家理解。K近邻算法（KNN）：有监督的学习 首先，KNN是通过测量不同特征值之间的距离进行分类，它的一个基本思路是，如果一个样本在特征空间中的K个最相似的（可以理解为特征空间中最近的样本）的样本中的大多数属于某一个类别，则样本也属于这个类别，通常在选取k值得时候一般选取K&l...

原创 python2和python3的区别

本文实例总结了Python2与Python3的区别。分享给大家供大家参考，具体如下：Python的3.0版本相对于Python的早期版本，这是一个较大的升级。为了不带入过多的累赘，Python 3.0在设计的时候没有考虑向下相容。许多针对早期Python版本设计的程式都无法在Python 3.0上正常执行。为了照顾现有程式，Python 2.6作为一个过渡版本，基本使用了Python 2.x的...

原创 python常见面试题总结

1.在python中类和对象有什么区别。对象是如何访问类的方法，创建一个对象时做了什么？答案：类相当于是一个模板，对象相当于是用模板创造出来的东西，在对象里面去去调用方法即可，先调用一个new方法，相当于先开辟了一个内存空间，然后再将内存空间返回回来，后将反悔的内存空间扔到了init方法里，init方法一般是做一些初始化的方法，然后才把一个对象给了普通变量，接下来才可以让一个变量去接收这个对象...

原创 快速排序详解

近些天来，由于需要找工作，特将数据机构与算法中的快速排序温习总结了一下，希望对于大家学习有所帮助。首先，快速排序的基本思想是基于分治的思想，是冒泡排序的改进型。首先在数组中选择一个基准点（该基准点的选取可能影响快速排序的效率，后面讲解选取的方法），然后分别从数组的两端扫描数组，设两个指示标志（low指向起始位置，high指向末尾)，首先从后半部分开始，如果发现有元素比该基准点的值小，就交换lo...

原创 GBDT提取特征的实现

Python实现：上一篇博客已经介绍了使用GBDT提取特征的思想，参考：https://blog.csdn.net/jodie123456/article/details/100630547但是算法的难点在于如何获得GBDT模型每个叶子节点的输出状况，而这可以通过sklearn包中GradientBoostingRegressor的apply函数实现，其原理如下：上面为GBDT模型...

原创 GBDT模型构造新特征

GBDT:1、回归树、提升树和梯度提升树（1）回归树　　GBDT中的树是回归树，不是决策树，用来做回归预测，调整后也可以用于分类；　　回归树分支时穷举每一个feature的每一个阈值寻找最好的分割点，衡量好坏的标准不是最大熵，而是最小化平方误差；（2）提升树　　迭代多棵回归树来共同决策；GBDT是如何衡量特征的重要性的:1.计算所有的非叶子节点在分裂时加权不纯度的...

原创 进程和线程之间的区别和联系

进程概念　　进程是表示资源分配的基本单位，又是调度运行的基本单位。例如，用户运行自己的程序，系统就创建一个进程，并为它分配资源，包括各种表格、内存空间、磁盘空间、I/O设备等。然后，把该进程放人进程的就绪队列。进程调度程序选中它，为它分配CPU以及其它有关资源，该进程才真正运行。所以，进程是系统中的并发执行的单位。在Mac、Windows NT等采用微内核结构的操作系统中，进程的功能发生了...

原创 LeetCode使用指南

虽然刷题一直饱受诟病，不过不可否认刷题确实能锻炼我们的编程能力，相信每个认真刷题的人都会有体会。现在提供在线编程评测的平台有很多，比较有名的有 hihocoder，LintCode，以及这里我们关注的 LeetCode。LeetCode 是一个非常棒的 OJ（Online Judge）平台，收集了许多公司的面试题目。相对其他 OJ 平台而言，有着下面的几个优点：题目全部来自业内大公司的真实...

原创 sizeof介绍

1. sizeof是C/C++中的一个操作符（operator），简单的说其作用就是返回一个对象或者类型所占的内存字节数。sizeof有三种语法形式，如下：1) sizeof( object ); // sizeof( 对象 );2) sizeof( type_name ); // sizeof( 类型 );3) sizeof object; // sizeof 对象;于是：int i;...

原创 HyperVolume多目标评价指标

Hypervolume 指标评价方法最早是由 Zitzler 等提出，它表示由解集中的个体与参考点在目标空间中所围成的超立方体的体积。Hypervolume 指 标 评 价 方 法 是 一 种 与 Pareto 一致(Pareto-compliant)的评价方法，也就是说如果一个解集 S 优于另一个解集 S’，那么解集S 的 Hypervolume 指标亦会大于解集 S’的 Hypervolu...

原创 支持向量机（SVM）

一、简介支持向量机（support vector machines）是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题来求解。由简至繁的模型包括：当训练样本线性可分时，通过硬间隔最大化，学习一个线性可分支持向量机；当训练样本近似线性可分时，通过软间隔最大化，学习一个线性支持向量机；当训练样本线性不可分时，通过核技巧和软间隔最大...

原创 卡方检验，U检验，t检验，F检验

卡方检验：主要用于等级资料 。t检验：适用于计量资料、正态分布、方差具有齐性的两组间小样本比较。包括配对资料间、样本与均数间、两样本均数间比较三种，三者的计算公式不能混淆。也可以这样理解主要是用于小样本（样本容量小于30）的两个平均值差异程度的检验方法。U检验：检验应用条件与t检验基本一致，只是当大样本时用U检验，而小样本时则用t检验，t 检验可以代替U检验。t检验和就是统计量为t,u的假...

原创 偏差和方差的理解

首先引出来一个机器学习试题：Adaboost可以降低方差Xgboost可以降低偏差（是属于boosting的一种）为什么说bagging是减少方差，而boosting是减少偏差；Bagging是Bootstrap Aggregating 的简称，意思就是再取样 (Bootstrap) 然后在每个样本上训练出来的模型取平均，所以是降低模型的variance. Bagging 比...

原创 机器学习试题

1. 隐马尔可夫模型三个基本问题以及相应的算法说法正确的是（ ）A.评估—前向后向算法B.解码—维特比算法C.学习—Baum-Welch算法(向前向后算法)D.学习—前向后向算法答案选择ABD,解析前向、后向算法解决的是一个评估问题，即给定一个模型，求某特定观测序列的概率，用于评估该序列最匹配的模型。Baum-Welch算法解决的是一个模型训练问题，即参数估计，...

原创 机器学习试题

1. 习题1（SPSS基础）SPSS的界面中，以下是主窗口是（ ）A.语法编辑窗B.数据编辑窗口C.结果输出窗口D.脚本编辑窗口正确答案：B解析：SPSS是属于数据分析软件，当然主窗口是在数据编辑上。2. 习题2（分类与聚类）以下哪些方法不可以直接来对文本分类？A.KmeansB.决策树C.支持向量机D.KNN正确答案...

原创 经典测试题总结

一，选择题（皆为单选）：1以下谁是二进制思想的最早提出者？a，伏羲；b，姬昌；c，莱布尼茨；d，柏拉图。2，以下哪个概念和公孙龙的《指物论》中的“指”字含义相近？a，变量；b，数组；c，对象；d，指针。3，蔺相如，司马相如；魏无忌，长孙无忌。下列哪一组对应关系与此类似？a，PHP，Python；b，JSP，servlet；c，java，java script；d，C，C++。...

原创 排序算法的时间复杂度

原创 差分进化算法（Differential Evolution)

一、差分进化算法的由来差分进化算法（Differential Evolution，DE)于1997年由Rainer Storn和Kenneth Price在遗传算法等进化思想的基础上提出的，本质是一种多目标（连续变量）优化算法（MOEAs），用于求解多维空间中整体最优解。差分进化思想来源即是早期提出的遗传算法（GeneticAlgorithm，GA），模拟遗传学中的杂交(crossover...

转载 MOPSO算法总结，包括OMOPSO，SMPSO，dMOPSO，CMPSO，DDMOPSO，MMOPSO等

MOPSO学习小结：一些基本的定义1、 一般化的多目标优化问题即多目标优化问题的数学模型；（分最小化和最大化问题）决策空间和目标空间，不等和等式约束条件；2、 Parto支配关系，非劣解；（决策向量的支配关系和目标向量的支配关系）一个决策向量X1支配另一个决策向量X2，当且仅当X1在所有的目标上都不差于X2，而且至少在一个目标上严格优于X2；3、 Parto最优解；一个决策向量是P...

原创 精英学习策略

在一些优化算法中为了保留更多的解，在最优解进行变异，利于全局最优解进一步寻优。常用的变异方式有高斯变异和多项式变异。高斯变异的精英学习策略：对于存档A中的每一个粒子，先复制成一个新粒子,然后对的随机选择的第d维上的变量做一个高斯变异，公式如下：Eid=Eid+ (Xmax,d−Xmin,d)Gaussian(0,1)；然后把新的粒子加入到存档S中；多项式变异的精英学习策略：在进...

原创 MOEAD算法

这个算法的精髓在于通过聚合函数把多目标优化问题转化为单目标优化。首先需要在目标空间均匀分布权重，以下面图为例，权重的数量与种群规模相同，种群规模是N，那么权重的数量就是N。每组权重向量将多目标优化问题转化为一个单目标优化问题。N组权重向量就是N个单目标优化问题。下面我们说说，怎么分解的。加权法我们就不说了，解决不了非凸函数。切比雪夫和边界交叉相比，切比雪夫用的比较多，我们就以切比雪夫为例解...

原创 isempty()函数用法

isempty(A)函数是一个判断数列A是否为空的一个函数。对于这个函数的用法如下：C =isempty(A):假如A为空的话，返回的值是1假如A为非空的话，返回的值是0D = ~isempty(A)与上面相反，假如A为空的话，返回的值是0，假如A为非空的话，返回的值是1在这里强调一下，空元素代表的是未赋值的元素，0并不是空元素。...

原创 动态多目标优化

在生产调度、人工智能、组合优化、工程设计、大规模数据处理、城市运输、水库管理、网络通信、数据挖掘和资本预算等诸多优化领域,常常会遇到许多复杂的更为接近现实生活的动态和静态优化问题.动态优化问题是指其目标函数不仅与决策变量有关，而且还会随着时间(环境)动态变化。在实际生活中，研究动态多目标优化问题就变得格外重要。...

原创 DBN深度信念网络介绍

DBN神经网络模型使用BP算法单独训练每一层的时候，我们发现，必须丢掉网络的第三层，才能级联自联想神经网络。然而，有一种更好的神经网络模型，这就是受限玻尔兹曼机。使用层叠波尔兹曼机组成深度神经网络的方法，在深度学习里被称作深度信念网络DBN，这是目前非常流行的方法。下面的术语，将把自联想网络称作自编码网络autoencoder.。通过层叠自编码网络的深度网络在深度学习里另外一个属于叫栈式自编...

原创 Adaboost算法——详细讲解

最近在做集成学习的时候，对Adaboost非常感兴趣，就自己复现了这个程序。首先提升方法是基于这样的一个思想：对于一个复杂的任务来说，通将多个专家的判断进行适当的综合所得到的判断，这样得到的结果会比单个专家的判断要好。Adaboost做法的核心问题，是通过提高前一轮分类器分类错误的样本的权值，降低分类分类正确的样本权值，对于那些没有本分类正确的样本会得到后面分类器更多的关注。然后可以产生很...

原创 机器学习——BP神经网络

1.BP神经网络的思想：BP 神经网络的基本思想就是根据梯度下降法不断更新，输入，输出权值得到的模型。BP(back propagation)神经网络是非线性不确定性数学模型，是一种具有连续传递函数的多层前馈人工神经网络，训练方式是误差反向传播算法(BP 算法)，并以均方误差最小化为目标不断修改网络的权值和阈值，最终能高精度地拟合数据。2.BP网络由输入层、隐含层和输出层3个神经...

原创 最小二乘法的原理讲解

在看RVFL神经网络的时候，在权值更新求解时，从隐含层到输出层的权重，是根据最小二乘法的原理更新求解的，那么最小二乘法是什么呢，今天来具体讲解一下。最小二乘法：假设有一系列数据值，D = {(x1,y2),(x2,y2),.....................,(xn,yn)},需要去找到一个函数f(x)=ax+b,使得f(x)的输出尽可能和y相近，那么此时最小二乘法，原理的关键就是根...

原创 线性分类器和非线性分类器总结

在机器学习中会遇到很多的分类器，在这篇博文中总结了常用的分类器线性和非线性的分类。线性分类器：模型是参数的线性函数，分类平面是（超）平面。非线性分类器：模型分界面可以是曲面或者是超平面的组合。典型的线性分类器有感知机，LDA（文档主题模型），逻辑斯蒂回归，SVM（线性核）。典型的非线性分类器有朴素贝叶斯，KNN，决策树，SVM（非线性核）。...

原创 集成学习多样性度量总结

上一篇博客讲了集成学习中成对的多样性度量，博文链接如下https://blog.csdn.net/jodie123456/article/details/89341835在本篇博文中，总结一下非成对的多样性度量的方法。1.2 非成对多样性度量与成对的多样性度量不同，非成对的的多样性度量直接定义在多分类器系统上，首先引入如下符号：()为个样例中的第个样例，为对正确分类的分类器的数目，...

原创 数据预处理 - 归一化与Z-Score标准化

归一化归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为标量，在多种计算中都经常用到这种方法。归一化方法有两种形式，一种是把数变为（0，1）之间的小数，一种是把有量纲表达式变为无量纲表达式。主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速，应该归到数字信号处理范畴之内。最大最小标准化x*=(x-min)/(max−min)...

原创 简单的不放回抽样matlab代码实现

y=randperm(30);%1到30的一个序列red=zeros(1,6);for j = 1:6 %循环不放回抽走6个数index = randi(34-j,1);red(j) = y(index);y(index) = [];%去掉抽走的数，接着抽样end

原创 ID3，C4.5

一.引入决策树基本上是每一本机器学习入门书籍必讲的东西，其决策过程和平时我们的思维很相似，所以非常好理解，同时有一堆信息论的东西在里面，也算是一个入门应用，决策树也有回归和分类，但一般来说我们主要讲的是分类，方便理解嘛。虽然说这是一个很简单的算法，但其实现其实还是有些烦人，因为其feature既有离散的，也有连续的，实现的时候要稍加注意(不同特征的决策，图片来自【1】...

原创 CART的时间复杂度计算与分析

大家在看算法的时候肯定会考虑时间的复杂度，那么就来讲一下CART的时间复杂度O(N*M*D), N是sample的大小，M是feature的数量，D是树的深度。cart生长时，把所有feature内的值都作为分裂候选，并为其计算一个评价指标（信息增益、增益比率、gini系数等），所以每层是O(N*M)，D层的树就是O(N*M*D)...

转载 数据结构与算法—线性表

1、前言线性表是最常用且是最简单的一种数据结构。形如：A1、A2、A3….An这样含有有限的数据序列，我们就称之为线性表。2、线性表的两种表示形式顺序表示（其实就是数组）链表表示3、线性表一般操作的介绍线性表一般包含如下几种操作：线性表的操作包括如下几种 （1） InitList(& L) //构造一个空的线性表 （2） DestroyLis...

原创 决策边界（decision boundary）的理解

1.在具有两个类的统计分类问题中，决策边界或决策表面是超曲面，其将基础向量空间划分为两个集合，一个集合。 分类器将决策边界一侧的所有点分类为属于一个类，而将另一侧的所有点分类为属于另一个类。总体来说的的话，决策边界主要有线性决策边界(linear decision boundaries)和非线性决策边界(non-linear decision boundaries)决策边界是问题空间的...

转载 pytho中的类和对象，属性和方法

一、面向对象的概述面向对象是一种描述业务问题、设计业务实体和实体之间关系的方法二、类和对象1、类和对象得区别：类是对客观世界中事物得抽象，而对象是类实例化后的实体例如：汽车模型就是一个类，制造出来的每辆汽车就是一个对象2、类的定义：（1）python使用class关键字定义一个类，类名的首字母一般要大写：例如：class Student： #定义了一个Stud...

原创 CART的时间复杂度的详解

大家在看算法的时候肯定会考虑时间的复杂度，那么就来讲一下CART的时间复杂度。对于一个样本数量是N的数据集，他的feature（特征）数是M，那么对应生成的树的深度是D 。在cart生长时，需要把所有的feature内的值都作为一个分裂的候选，然后根据这个计算一个指标，例如信息增益，信息增益比，gini指数等等，于是每层的时间复杂度是O(N*M),再加上树的深度D，那么总的时间复杂度就是O...