u012155582的专栏

机器学习模型评估方案，包括训练集测试集划分方案，常用评估指标，AUC的具体含义等

最简单反向传播神经网络TensorFlow实现一. 准备输入数据二. 定义网络结构三. 定义方向传播四. 训练网络一. 准备输入数据二. 定义网络结构三. 定义方向传播四. 训练网络#ecoding=utf-8import numpy as npimport tensorflow as tf#准备训练数据集trainX = np.random.random(size=[100,...

1，参数 C : float, optional (default=1.0)：惩罚系数，越大越会过拟合  kernel : string, optional (default='rbf')：核函数，linear：线性, poly：多项式, rbf：高斯, sigmoid：sigmod, precomputed：     ，callable：自定义。  degree : int, opt...

ID3 : 信息增益、集和熵-集和按照属性划分后每个子集信息熵加权和C4.5 : 信息增益率、信息增益/属性信息熵，剪枝，连续，缺失CART: 基尼系数、按照属性划分后每个子集合基尼指数加权和（1-概率平方和），二叉树，特征再分裂参数1,criterion : string, optional (default="gini")，节点分裂标准2,splitter : string...

LR 参数多分类情况下使用一对多策略，损失函数为交叉熵损失，求解方法为LBFGS,SAG和NEWTON-CG。1，penalty : str, 'l1' or 'l2', default: 'l2'：正则项，默认为l2。三种求解方式只支持L22，dual : bool, default: False：是否转化为对偶问题3，C : float, default: 1.0：正则项系数的逆序，越大越过拟...

目前的集成学习方法大致分为两大类：即个体学习器之间存在强依赖关系、必须串行生成的序列化方法，以及个体学习器间不存在强依赖关系、可同时生成的并行化方法；前者的代表就是Boosting，后者的代表是Bagging和“随机森林”（Random Forest）。随机森林自助抽样，特征采样，无剪枝，投票，减小方差1，原理：提到随机森林，就不得不提Bagging，Bagging可以简单的理解为：放回抽样，多数...

一、异常检测定义异常对象被称作离群点。异常检测也称偏差检测和例外挖掘。 二、常见的异常成因数据来源于不同的类（异常对象来自于一个与大多数数据对象源（类）不同的源（类）的思想），自然变异，以及数据测量或收集误差。 三、异常检测的方法（1）基于模型的技术：首先建立一个数据模型，异常是那些同模型不能完美拟合的对象；如果模型是簇的集合，则异常是不显著属于任何簇的对象；在使用回归模型时，异常是相对远离预测值...

1.熵：集和的熵值 -sum(pi * log(pi , 2))2.信息增益：集和的熵-按照特征a划分后子集的熵加权和（偏向类别数目多的属性） 3.信息增益率：信息增益/属性的熵（偏向类别数目少的属性）4.基尼值：1-集和各类别值的概率平方和（随机抽取两个样本其类别不一致的概率） 1 - sum(pi**2)5.基尼系数：按照属性a划分后各子集的加权基尼和ID3：判别式模型，分类树，多叉树，信息增...

· 1. 梯度下降法（Gradient Descent）· 2. 牛顿法和拟牛顿法（Newton's method & Quasi-Newton Methods）· 3. 共轭梯度法（Conjugate Gradient）· 4. 启发式优化方法· 5. 解决约束优化问题——拉格朗日乘数法 1. 梯度下降法（Gradient Descent）梯度下降法是最早最简单，也是最为常用的最优化方法...

什么是好？好的特征代表了灵活性、更简单的模型和更好的结果，不相关的特征则会影响模型的泛化性。因此特征选择和特征工程并非是互相排斥的，而是相辅相成的。有效的特征工程能够帮助我们提炼数据的代表。接着问题就来了，什么才是好的代表？代表的好坏取决于里面所包含信息的好坏。熵（Entropy，熵值越高，数据中所包含的信息越多），方差（Variance，方差越大，数据中所包含的信息越多），更好的分离映射（Pro...

NLP通常包括两个关键问题：1.选择什么样的语言模型？2.选择什么样的分类算法？第二个问题是机器学习领域的标准问题，各种针对不同数据类型、数据分布的算法和技巧，这里不再赘述。而在NLP当中，语言模型更加重要一些。不同语言模型的区别，也就是对文本提取特征的不同。常用的模型有：1.Bag-of-words：最原始的特征集，一个单词/分词就是一个特征。往往一个数据集就会有上万个特征；有一些简单的指标可以...

一.sklearn评估1.混淆矩阵 from sklearn.metrics import confusion_matrix confusion_matrix(testLabel,pre_label)2.大小类评估指标：精确率，召回率，f1得分 from sklearn.metrics import classification_report classification_report(tes...

机器学习算法的一些基本概念，包括样本，标签，训练集，测试集，样本空间，模型，算法等

数据分析要点笔记

1.线性方程与非线性方程线性方程：代数方程如y = 2x + 5,其中任何一个变量都为1次幂，这种方程的图像为一条直线(平面)，所以称为线性方程非线性方程：y**2 = 2x + 5,因变量和自变量之间不是线性关系，如平方关系、对数关系、指数关系和三角函数关系等2.基本形式给定有m个属性描述的实例x=(x1,x2...,xm),其中xi是x在第i个属性上的取值，线性

数据挖掘/数据分析一般流程/套路

ID3 : 信息增益、集和熵-集和按照属性划分后每个子集信息熵加权和C4.5 : 信息增益率、信息增益/属性信息熵，剪枝，连续，缺失CART: 基尼系数、按照属性划分后每个子集合基尼指数加权和（1-概率平方和），二叉树，特征再分裂参数1,criterion : string, optional (default="gini")，节点分裂标准2,splitter : string, op...