yuzaer-CSDN博客

原创天池-新人赛-快来一起挖掘幸福感-pipline

文章目录比赛链接记录项目结构代码文件preprocessing.pymodel_library.pygenerate_best_single_model.pyensemble.py比赛链接https://tianchi.aliyun.com/competition/entrance/231702/introduction记录特别感谢 ChenglongChen 公开的项目代码： h...

2019-06-04 17:01:01 3571 5

原创数据采集方法-复习

试验设计试验为序贯性质的单因子两因子多因子（介绍）两因子部分设计 PB设计（为了使设计更加简单）三个基本原则重复性随机化分区组(区分因子)单因子，两因子，多因子方差分析主要，回归分析次要两因子随机化区组设计（含有区组因子）公式若只有处理因子，直接进行方差分析；区组因子的不同在于，不考虑区组因子的交互效应，而处理因子需要考虑多因子拉丁方，正交拉丁方BIBD试验...

2019-05-09 12:22:11 644

原创瑞利商

瑞利商瑞利商瑞利商首先给出瑞利商的定义R(A,x)=xTAxxTxR(A,x) = \frac{x^TAx}{x^Tx}R(A,x)=xTxxTAxAAA 为一个n∗nn*nn∗n的对称矩阵。它经常在一些统计问题中出现，因此在此记录其性质我们记 AAA 的特征值以及对应的特征向量为λ1,λ2,...,λn;v1,v2,...,vn\lambda_1,\lambda_2,......

2019-05-09 12:20:15 2576 3

原创贝叶斯分类器

贝叶斯分类器文章目录@[toc]朴素贝叶斯一个重要的前提形式估计连续值属性潜在问题特点贝叶斯信念网络概念训练拓扑结构的学习主观专家的编码网络的推断$BBN$ 的特点朴素贝叶斯朴素贝叶斯分类器一个重要的前提属性之间的独立性假设P(a1,...,an∣vj)=ΠiP(ai∣vj)P(a_1,...,a_n|v_j) = \Pi_iP(a_i|v_j)P(a1,...,an∣vj)=...

2019-05-09 12:18:04 344

原创模型评估与选择_简易版

模型评估与选择文章目录@[toc]二分类问题的泛化误差上界混淆矩阵ROC 曲线与 AUC交叉验证自助法 $(bootstrapping)$正则化 $(regularization)$模型比较偏差-方差分解二分类问题的泛化误差上界T={(xi,yi)}T = \{(x_i,y_i)\}T={(xi,yi)} 来自于联合概率分布 P(X,Y)P(X,Y)P(X,Y) 且有 X∈Rn,Y∈...

2019-05-09 12:15:46 259

决策树文章目录@[toc]如何划分属性一些度量划分$ID3$$C4.5$$ID3$ 中划分标准的问题连续值的划分问题缺失值树的剪枝错误率降低修剪 $REP(Reduced-Error\ Pruning)$预剪枝与后剪枝$C4,5$ 剪枝法$CART\ (Classification\ and\ Regression\ Trees)$$CART$ 算法$CART$ 剪枝策略**具体算法**![...

2019-05-09 12:14:28 356

原创 KNN

KNN文章目录@[toc]如何衡量相似（距离）不同属性之间的比较距离距离公理，度量欧氏距离 $(Euclidean\ Distance)$曼哈顿距离 $(Manhattan\ Distance)$闵可夫斯基距离 $(Minkowski\ Distance)$马氏距离 $(Mahalanobis\ Distance)$一些不满足距离或度量的评估标准余弦相似度不同属性的距离综合评估$KNN$简单介...

2019-05-09 12:12:38 263

原创 SVM

SVM文章目录@[toc]问题的提出问题的求解$SMO$ 算法问题的提出针对分类问题，我们经常会尝试构建一个线性判别边界，尝试将样本进行划分。通过进行特征变换，支持向量机将在变换后的大的特征空间内产生超平面判别边界，对应在原空间为非线性边界。假设我们有 NNN 个数据 (xi,yi),xi∈Rp,yi∈{−1,1}(x_i,y_i),x_i \in R^p,y_i \in \{-1,1...

2019-05-09 12:10:05 164

原创 ISM_Interpretative Structural Modelling Method

ISM文章目录@[toc]ISM背景简介ISM 模型准备ISM 模型求解ISM背景简介ISM 全称为 Interpretative Structural Modelling Method ，中文名为解释结构模型法。是一种在系统工程领域常用的分析方法，它能够发现系统中的一般模式。什么为系统结构？我们常用诸多因素来表征一个系统，而因素之间的逻辑关系就是一种系统结构。我们经常使用有...

2019-05-09 12:09:13 530

原创拉格朗日乘子法

拉格朗日文章目录@[toc]等式约束不等式约束 & KKT条件等式约束等式约束条件下的拉格朗日乘子法的一般形式可以表现为：minf(x), s.t. hk(x)=0,k=1,2,...,lmin f(x),\ \ \ \ s.t.\ \ h_k(x) = 0 ,k = 1,2,...,lminf(x),&nbsp...

2019-05-09 12:08:27 323

原创 ISM 模型

ISM文章目录ISM背景简介ISM 模型准备ISM 模型求解ISM背景简介ISM 全称为 Interpretative Structural Modelling Method ，中文名为解释结构模型法。是一种在系统工程领域常用的分析方法，它能够发现系统中的一般模式。什么为系统结构？我们常用诸多因素来表征一个系统，而因素之间的逻辑关系就是一种系统结构。我们经常使用有向图模型来...

2019-04-14 22:06:19 12536 2

原创新用户分析

新用户分析 by yuzaer 用户的考虑维度1、用户的生命周期用户的生命周期是指用户从不同的途径下载安装app，然后消费app的情况；最后为留存或者卸载或者“休眠”用户基本的流程图如下产生作用用户冷启动留存卸载各种growth策略用户下载安装app用户消费用户去向留存用户卸载用户在流程图的每一个阶段都会产生用户变化首先在各种用户增长策略层面用户自行在应用商店...

2019-03-19 19:20:27 414

原创内容分析

内容分析思路和想法 by yuzaer 内容的考虑维度1、内容的生命周期内容的生命周期是指内容从抓取或产生到审核到展示到最后被消费的整个周期的分析用流程图表示为如下：Created with Raphaël 2.2.0内容的产生内容的审核审核是否通过文章的库存内容是否被展示内容的消费标记审核未通过及原因yesnoyesno在流程图进行的每一个阶段都存在一定的内容变化...

2019-03-19 19:17:30 3508

原创 Hive Sql

hive sql 技巧总结by yuzaer 目录&链接一些注意事项以及tips取数连接排序时间相关行列变换空值的替换(nvl()函数)一些注意事项以及tips：1、count( )设数据表 table1为ab1NULL2132select count(*) as count_1, count(b)...

2019-03-19 19:16:03 185

qq_37920823的博客