算法模型分析方法
文章平均质量分 93
Just Jump
勿忘来时路上的脚印。站在巨人的肩膀上。
你没有比别人更努力,更不会比别人更不努力。你只是按照你能做到的、最适合你自己的办法去实现自己的目标,去成长为你眼中优秀的人们中的一员。
你自己、优秀的人群;决心、视野;自律、标准。
业精于勤,行成于思。
古之成大事者,不惟有超世之才,亦必有坚韧不拔之志。
苟有恒,何必三更起五更眠;最无益,只怕一日曝十日寒。 十五年只做一个行当。
展开
-
[转]基于动态规划DTW算法加速衡量两个不同的时间序列的相似性
DTW算法采用了动态规划DP(dynamic programming)的方法来进行时间规整的计算,可以说,动态规划方法在时间规整问题上的应用就是DTW。转载 2024-07-30 15:54:56 · 51 阅读 · 0 评论 -
营销目标人群挖掘实践经验总结
上述展示的群体发现的过程是遵循数据挖掘的方法和框架的。主要流程和框架以下模型、分析方法是可以沉淀成标准化输入输出模版的:1、商品分析模型: 显著性分析、 相关性分析、odds比、Jaccard相关系数、 FP-Growth分析2、画像标签筛选模型: 分类模型特征筛选法、方差筛选法...3、人群分层模型: 排序模型、RFM分层模型、....在有些业务场景下,上述分析方法会失效。原创 2024-02-27 17:35:25 · 961 阅读 · 0 评论 -
【推荐】样本/数据一致性检验的方法
写在前面:一致性检验的目的在于比较不同方法得到的结果是否具有一致性。比如采集的样本和真实样本是否一致,比如两种抽样方法得到的两个样本集是否一致,比如两种不同超参数设置下的聚类方法得到的聚类结果是否一致,等等检验一致性,你用哪种方法? - 知乎检验一致性的方法有很多比如:Kappa检验、ICC组内相关系数、Kendall W协调系数等。每种方法的功能侧重,数据要求都略有不同:Kappa系数检验,适用于两次数据(方法)之间比较一致性,比如两位医生的诊断是否一致,两位裁判的评分标准是否一致等。原创 2021-12-23 11:53:58 · 11888 阅读 · 0 评论 -
【转】比较简单基础的几种回归分析方法
什么是回归分析?回归分析是一种预测性的建模技术,它研究的是因变量(目标)和自变量(预测器)之间的关系。这种技术通常用于预测分析,时间序列模型以及发现变量之间的因果关系。例如,司机的鲁莽驾驶与道路交通事故数量之间的关系,最好的研究方法就是回归。回归分析是建模和分析数据的重要工具。在这里,我们使用曲线/线来拟合这些数据点,在这种方式下,从曲线或线到数据点的距离差异最小。我会在接下来的部分详细解释这一点。我们为什么使用回归分析?如上所述,回归分析估计了两个或多个变量之间的关系。下面,让我们举一转载 2020-10-17 21:20:42 · 2030 阅读 · 0 评论 -
混淆矩阵与P-R曲线、ROC曲线
1、混淆矩阵 Predicted Positive Negative Actual Positive TP 真正 (True Positive) FN 假负 (False Negative) Negative FP 假正 (False Positive) TN 正负 (True Negative) 2、评价指标计算公式准...原创 2020-07-06 20:23:30 · 1156 阅读 · 0 评论 -
SVM(核函数、高斯核函数RBF)
转载自博客园:https://www.cnblogs.com/volcao/p/9465214.html机器学习:SVM(核函数、高斯核函数RBF)一、核函数(Kernel Function) 1)格式K(x, y):表示样本 x 和 y,添加多项式特征得到新的样本 x'、y',K(x, y) 就是返回新的样本经过计算得到的值; 在 SVM 类型的算法 SVC() 中,K(x, y) 返回点乘:x'.y'得到的值; 2)多项式核函数业务问题:怎么分类非线性可分的样本的分类?...转载 2020-07-03 11:49:58 · 18048 阅读 · 0 评论 -
人工神经网络ANN建模基础须知
链接文章:机器学习基础须知、神经网络建模实践,其他博文人工神经网络ANN0、感知机:包括输入节点、输出节点两部分,输入节点和输出节点用一个表示权重的值连接。感知机的输出值是计算输入节点的加权和,减去一个偏置项,然后使用一个激活函数将计算结果转化为一个信号值输出。(值的计算表达式上等同于线性SVM和多元线性回归,直观上很好理解。)用数学的形式表达为y=sign(wj*xj +…+w2*...原创 2019-12-06 12:50:05 · 2020 阅读 · 0 评论 -
决策树建模基础知识须知
链接文章:机器学习基础须知、决策树建模实践(CART决策树)决策树分类器基础知识须知决策树组成:根节点(判断条件(属性列及值)、输出有向边)、中间节点(判断条件(属性列及值)、输出有向边)、叶节点(分类信息)。0、建立决策树的算法Hunts算法:1、如果t节点对应的训练集Dt都属于同一个分类,则t是叶节点。2、如果训练集Dt所属的分类超过1个,则筛选属性判断条件将集合拆分成更小的子...原创 2019-12-05 02:44:28 · 1234 阅读 · 0 评论 -
KNN模型、KNN算法2-协同过滤推荐
K近邻模型、KNN算法1案例假设有用户对曾经购买过的商品的评分数据,如何利用这份数据给用户做商品推荐?或者对一个用户,应该给他推荐哪些商品?思路逻辑图Python代码#!/usr/bin/env python# -*- coding: utf-8 -*-#@Time: 2019-11-18 22:36#@Author: gaollimport timeimpo...原创 2019-11-17 08:06:29 · 2982 阅读 · 0 评论 -
K近邻模型、KNN算法1-构建预测模型
K近邻模型、KNN算法1-构建预测模型案例假设你已经清洗好了一份同类型的商品信息和价格数据,如果给一个同品类全新的商品,你如何给它定价或预测它的价格?比如,这个商品是红酒。你已经获取到了一批红酒的评级、生产年份、瓶装大小等红酒属性数据,以及对应的红酒价格。现在请根据这个样本数据对一瓶红酒进行价格预测、价格区间概率预测。思路逻辑图Python代码#!/usr/bin/e...原创 2019-11-17 07:55:50 · 2319 阅读 · 6 评论 -
分级聚类、K均值聚类
分级聚类、K均值聚类案例假设有你一批博客数据,请根据博客内容进行聚类,分别用分级聚类和K-均值聚类查看博客的分组情况。假设你使用API已经爬取了相关数据,并且已经整好数据格式如下:blogname,china,kids,music,yahoo,search,engine,google,operating,system,pythonRead/WriteWeb,5,20,15,0,8...原创 2019-11-17 07:48:31 · 989 阅读 · 0 评论 -
决策树建模实践-构建树、显示、剪枝、处理缺失值和预测
决策树建模构建决策树、显示决策树、决策树剪枝、处理缺失值(训练数据和预测数据中的)、决策树预测案例:利用决策树进行分类问题(采用CART决策树)假设已经有一份清洗好的数据,前四列表示属性及其值,最后一列为分类。数据示例:slashdot,USA,yes,18,Nonegoogle,France,yes,23,Premdigg,USA,yes,24,Basicbaidu,...原创 2019-11-14 19:01:11 · 924 阅读 · 1 评论 -
优化算法-随机搜索、爬山法、模拟退火法、遗传算法2
案例2: 涉及偏好的优化这里考虑另一种使用优化算法来解决的不同问题。一般表述为:如何将有限的资源分配给多个表达了偏好的人,并根据他们的意愿,尽可能地满足需求。假设你在东京的酒店定了5间房(A,B,C,D,E),5间房各有其风格特点,朋友们根据自己的喜好,给你发了想入住的房间首选、备选。5间房,10个人,每2人一间,每个人都有自己的首选房间和备选房间。你发现他们中有>2个人都对同一...原创 2019-11-13 23:47:17 · 653 阅读 · 0 评论 -
优化算法-随机搜索、爬山法、模拟退火法、遗传算法1
随机搜索、爬山法、模拟退火法、遗传算法1案例1:行程优化问题毕业多年,曾经上学时的好友们都已分散到不同城市工作生活。近日你联系组织了这群生活在不同城市的好友们,组团去日本旅行。约定到达东京羽田国际机场(Tokyo)后,在机场租车,一起出发去酒店。旅行结束后,一起成乘车去机场,还车,然后各自坐飞机离开日本返程。你该如何协调大家乘坐的去程、返程飞机时间,使得大家在机场等待的时间最短?假...原创 2019-11-11 21:14:31 · 1402 阅读 · 0 评论 -
朴素贝叶斯、费舍尔分类方法
朴素贝叶斯、费舍尔分类法案例:有一批图书分类样本数据,用朴素贝叶斯、费舍尔分类法对样本数据学习进行分类。数据清洗这里我们不讨论数据的获取和清洗,而是聚焦在使用朴素贝叶斯、费舍尔分类法上。假设我们已经从数据中确定了几列有价值的数据,并做好了数据清洗。清洗后生成样本数据如下:#第一列Title|第二列Publisher|第三列Summary|第四列图书分类Handsbook for ...原创 2019-11-10 22:04:01 · 1365 阅读 · 0 评论 -
最大期望算法EM说明示例
1、硬币问题现在我们有两枚硬币 A 和 B,这两枚硬币和普通的硬币不一样,他们投掷出正面的概率和投掷出反面的概率不一定相同。独立地做 5 次试验。随机的从这两枚硬币中抽取 1 枚,投掷 10 次,得出实验数据。1表示掷出正面,0表示掷出反面。[1,0,0,0,1,1,0,1,0,1],[1,1,1,1,0,1,1,1,1,1],[1,0,1,1,1,1,1,0,1,1],[1,0...原创 2019-11-06 17:30:26 · 323 阅读 · 0 评论 -
机器学习基础知识须知
机器学习中常会用到一些基础的分析方法和基本概念,整理知识框架如下。也可以在之前的博客《常用术语概念汇总》、《常用模型、分析方法及其检验标准》中找到机器学习相关的术语概念和模型。刚入门的同学最好找一本教材系统学习下,重点体会完整的分析过程、建模和检验的过程,以及背后原理的逻辑和思想。入门建议选择理性和实践并重的教材,比如《Python机器学习实践》、《集体智慧编程》。边学习边实践,很容易...原创 2019-10-23 04:40:55 · 348 阅读 · 0 评论 -
Python机器学习实践
前面几篇博文已经整理了Python做数据分析和建模以及机器学习基础知识。这篇博文主要分享Python做数据分析和建模的实践案例应用。分为两部分:1、Python机器学习实践案例的算法总结。 见博文下方的算法总结表格。2、案例和代码实现。 每个案例单独用一篇博文来讲解逻辑和Python代码实现。点击对应的链接到相应的博文中去阅读。 (1)朴素贝叶斯、...原创 2019-11-07 22:06:16 · 4094 阅读 · 0 评论 -
常用术语概念汇总
基本术语概念须知 英文名 中文名 含义 备注 Bernoulli 伯努利分布 实验只有两种结果,成功(1)或失败(0),成功的概率为p,失败的概率为1-p,概率质量函数为P(X=k)=p^k*(1-p)^(1-k), k=0,1 。期望为p ,方差为p(1-p) 离散概率分布 Binomial Dis...原创 2019-08-12 11:49:23 · 1379 阅读 · 0 评论 -
推荐一个很棒的机器学习笔记
1、推荐一个很棒的机器学习笔记,它不仅完整的实现了一个机器学习分析的过程,而且介绍了很好的习惯和流程规范,非常值得学习:An example machine learning notebook : https://nbviewer.jupyter.org/github/rhiever/Data-Analysis-and-Machine-Learning-Projects/blob/master...转载 2019-08-20 16:31:13 · 162 阅读 · 0 评论 -
几种常用的特征选择方法
几种常用的特征选择方法文章推荐阅读推荐读这篇,对比的方法更多一些,最后还有对比汇总示例:https://blog.csdn.net/SecondLieutenant/article/details/80693765这篇的最后有一点补充作用,https://b...转载 2019-08-19 17:19:47 · 937 阅读 · 0 评论 -
常用模型、分析方法及其检验标准累积汇总
万物皆数学。近期计划汇总整理些实际工作中会用到分析方法、模型和算法,计划从方法/模型/算法适用的情况、实现原理、结果及其检验标准、Python调用方法、以及可视化呈现这几个方面入手来整理。希望能对数据科学分析和挖掘有个系统全面的方法论认识。也起到一个方法参考手册的作用。方法/模型名称 什么情况下适用 实现方法/模型 得到什么系数或结果 如何检验方法或模型是好的,...原创 2019-08-07 15:48:42 · 4697 阅读 · 0 评论