数据挖掘
文章平均质量分 77
是谁注册了我的2052
给我2052
展开
-
图论基础知识
图论图的构成:节点和边贝叶斯网:有向图随机游走:无向图分类:有向图:无向图:一:节点X图里面的所有点 X = {x1,x2…}二:边E分类:有向边 G无向边 H三:子图完全子图: X中任意两个几点均有一条边连接,即所有点之间完全相通完全子图里面的所有点叫做团最大团:当加入新节点无法也形成完全子图的时候就是最大团四:路径无方向路径:只要点与点之间有连接,就是一条路径有方向路径:需要沿着方向的方向走,才是一条路径,只要存在任意一条逆方向的就不是路径原创 2021-09-19 10:50:43 · 442 阅读 · 0 评论 -
SVM算法推导过程
SVM算法SVM:支持向量机目的:解决感知机的问题感知机问题:1.泛化能力弱2.只关注错误点,不考虑各类别的分布,就会出现过拟合一:SVM介绍1.svm思想数据集中的点在分割之后离超平面越远越好分割:理解为函数 f超平面:理解为参数W , 决定函数的集合分割和超平面理解为: f(W)越远越好:越远则预留的空间越大,可以容纳更多新的数据点,解决泛化能力多个类别的时候要综合考虑类与类之间的距离二.SVM模型需要解决两个问题:1.距离计算 max[marg(Wi,Xi)]原创 2021-09-12 01:01:21 · 680 阅读 · 0 评论 -
决策树建模分析流程
决策树建模流程一:数据处理先划分数据集缺失值填充0/1转码虚拟变量处理相关关系对比,删除相关关系大的部分特征等等二:建模from sklearn.tree import DecisionTreeClassifierfrom sklearn.model_selection import cross_val_scoreclf = DecisionTreeClassifier(random_state=420,class_weight='balanced')cvs = cross_v原创 2021-09-06 22:03:58 · 568 阅读 · 0 评论 -
梯度下降原理
梯度下降原理1.梯度下降介绍背景:最优化,求极值MLE 和 MAP的 函数f(w)较复杂的时候,无法求导或者求导困难怎么办? -->梯度下降极值: 即 f(w)的导数=0 的时候的解导数代表下降速度,越陡说明速度越快,正方形上升速度,负方向代表下降速度沿着梯度的方向可以更快更好的达到极值最优解和初始值有关,要么取得的是局部最优要么就是全局最优局部最优:全局最优:关键点:步长=x2 - x1梯度=y2 - y1方向(初始值):决定是局部最优还是全局最优沿着原创 2021-09-02 23:36:28 · 179 阅读 · 0 评论 -
SVM算法原理介绍
SVM算法目的:解决感知机的问题感知机问题:1.泛化能力弱2.只关注错误点,不考虑各类别的分布,就会出现过拟合一:SVM介绍1.svm思想数据集中的点在分割之后离超平面越远越好分割:理解为函数 f超平面:理解为参数W , 决定函数的集合分割和超平面理解为: f(W)越远越好:越远则预留的空间越大,可以容纳更多新的数据点,解决泛化能力多个类别的时候要综合考虑类与类之间的距离二.SVM模型需要解决两个问题:1.距离计算 max[maxarg(Wi,Xi)]2.s.t 前提原创 2021-09-02 23:35:37 · 271 阅读 · 0 评论 -
线性分类介绍
线性分类频率派: 线性回归 / 线性分类贝叶斯派:概率图线性: 属性非线性 / 全局非线性 / 系数非线性线性分类模式: 硬分类 / 软分类硬分类:主观的给出直线划分,指定属于哪个类,(例如: 感知机,线性判别)软分类:概率判断:如逻辑回归 / 生成类:如朴素贝叶斯一:硬分类1.1感知机找到一条分界线,分割不同类别原理:错误驱动迭代公式:损失函数L(w)=∑i=1n(yiWxi<0)yiWxi<0代表分类错误当点刚好落在y直线的时候,yiWxi=0当点落在y直线上方的时候原创 2021-08-22 21:59:07 · 512 阅读 · 0 评论 -
无监督学习--K-Means
无监督学习–K-Means聚类分类核心将数据分成多组探索每个组的数据是否有联系从已经分组的数据中去学习把新的数据放到已经分好的组中去学习类型无监督,无标签训练有监督,需要标签进行训练典型算法K-Means,DBSCAN,层次聚类,光谱聚类决策树,贝叶斯,逻辑回归,KNN算法输出聚类结果是不确定的不一定总是能够反映数据的真实分类同样的聚类,根据不同的业务需求,可能是好的结果也可能是不好的结果分类结果是确定的分类的优劣是客观的不是根据业务或算法决定的原创 2021-08-21 16:17:04 · 557 阅读 · 0 评论 -
逻辑回归实现
有监督学习–逻辑回归一:算法原理区别于线性回归,逻辑回归输出的是分类变量作用:基于线性回归的原理,解决二分类问题或者多分类问题1.Sigmoid函数:例如:对数几率函数2.公式逻辑回归表达式:y=11+e−(WTx+b)进一步可得:lny1−y=WTx+b举例如下:二分类:1的概率P,则0的概率1−PlnP1−P=WTx+b所以lnP1−P又称为对数几率,反映了样本取正例1的相对可能性逻辑回归表达式:y = \frac{1}{1+e^{-(W^Tx+b)}}\\进一步可得:ln\frac原创 2021-08-19 23:15:23 · 138 阅读 · 0 评论 -
有监督学习--线性回归
有监督学习–线性回归一:算法原理多元线性回归:每个 x 代表一个特征模型:[y1y2...yp]=[1,x11,x12,...,x1p1,x21,x22,...,x2p...1,xn1,xn2,...,xnp]∗[w0w1...wp]=w0+XW\left[ \begin{matrix}y_1 \\y_2 \\... \\y_p\end{matrix}\right] =\left[ \begin{matrix}1,x_{11},x_{12},...,x_{1p} \\1,原创 2021-08-16 21:40:05 · 151 阅读 · 0 评论 -
有监督算法-决策树
有监督算法-决策树一:算法概述决策树:包括分类树/ 回归树,回归树较少用,所以这里主要介绍分类树算法流程:特征选择–>决策树生成–>决策树剪枝二:特征选择2.1 香浓熵(信息熵)熵代表信息混乱程度,越混乱熵就越高熵的计算公式:Entropy(m)=−∑i=1kpilog2piEntropy(m) = -\sum_{i=1}^{k}p^ilog_2p^iEntropy(m)=−i=1∑kpilog2pi当p=0,则熵=0,因为确定性100%,没有信息混乱#信息熵的计算原创 2021-08-11 17:42:35 · 463 阅读 · 1 评论 -
线性回归公式推导
线性回归一:最小二乘法用最小二乘法约束最小二乘法即损失函数,保证 (Xi-Xj)2+(Yi-Yj)2 的和 最小,即每个点到模型上的距离最小1.1 数据集:D={(x1,y1),(x2,y2),(x3,y3)…(xn,yn)}特征A特征B特征Cx1111x2111…………xn111xi=[xi1xi2...xip]=P∗1p代表特征数,每个x变量都有p个特征xi = \left[ \begin{matrix}x_i原创 2021-08-10 13:33:00 · 234 阅读 · 0 评论 -
有监督算法-KNN
有监督算法-KNN/K近邻一:原理1.计算o点到所有点的欧氏距离欧氏距离:d=(xa−xb)2+(ya−yb)2欧氏距离: d = \sqrt{(x_a-x_b)^2+(y_a-y_b)^2} 欧氏距离:d=(xa−xb)2+(ya−yb)22.假设 K = 4 ,则选择距离最小的 K 个点3.统计 K 个点属于哪些类4.找到 K 个点中所属类最多数量,则把O点分为该类二:算法优缺点极其变种2.1 优缺点算法参数 K 的取值影响模型效果,所以后面需要通过学习曲线去确定K值得原创 2021-08-09 11:53:20 · 344 阅读 · 0 评论