数据分析
文章平均质量分 82
一条长直线
这个作者很懒,什么都没留下…
展开
-
频率派机器学习——线性回归
频率派机器学习——线性回归 线性回归的基本模型f(w,b)=wTx+bf(w,b)=w^Tx+bf(w,b)=wTx+b,线性回归有三要数: 线性 属性线性 打破→\underrightarrow{打破}打破 即将属性改为非线性,即存在xix^ixi (i>1)(i>1)(i>1)。则为特征转换(多项式回归) 全局线性 打破→\underrightarrow{打破}打破 即将全局线性改为非线性。例如神经网络中的激活函数,使其输出为非线性,则为线性分类 系数线性 打原创 2021-08-28 02:02:10 · 189 阅读 · 0 评论 -
【算法】线性分类
线性分类 线性分类就是对线性回归的输出增加了一个激活函数。 线性回归 激活函数→\underrightarrow{激活函数}激活函数 线性分类 硬分类 {0,1}\{0,1\}{0,1}。使用的是非概率模型,分类结果就是决策函数的决策结果。分成感知机和线性判别分析(LDA /Fisher判别分析)。 感知机模型 感知机模型的中心思想:如果在初始阶段看到哪些点错误了,不断调整,直到模型分类正确为止。也就是错误驱动。 是一种二分类的线性分类模型。 [外链图片转存失败,源站可能有防盗链机制,建议将图片原创 2021-08-28 02:01:18 · 1473 阅读 · 0 评论 -
【算法】决策树
决策树 定义&概念 决策树是一种树形结构,其中每个内部节点表示一个属性上的判断,每个分支代表一个判断结果的输出,最后每个叶节点代表一种分类结果。 采用自上向下的递归方法,基本思想是以信息熵为度量构造一棵熵值下降最快的树,到叶子节点处熵值为0。 决策树思想,实际上就是寻找最纯净的划分的方法。 重要概念 根节点、内部节点、叶节点 根节点:就是树的最顶端,最开始的那个节点。 内部节点:就是树中间的那些节点。 叶节点:树最底部的节点,也就是决策结果 父节点和子节点是一对,先有父节点,才会有子节点。 纯度原创 2021-08-31 21:59:55 · 206 阅读 · 0 评论 -
正则化和最大后验估计(MAP)
正则化 前提 y=kx+by=kx+by=kx+b 拟合结果f(w)=wTxf(w)=w^Txf(w)=wTx 运用最小二乘法得到损失函数L=∑i=1N∣∣wTxi−yi∣∣2L=\sum^N_{i=1}||w^Tx_i-y_i||^2L=∑i=1N∣∣wTxi−yi∣∣2 对损失函数求导可得 w=(XTX)−1XTYw=(X^TX)^{-1}X^TYw=(XTX)−1XTY 由于XTXX^TXXTX有可能是不可逆矩阵,因此发成可能有无数多个解,很容易造成过拟合。 处理过拟合的方法原创 2021-08-18 02:26:07 · 1091 阅读 · 0 评论 -
【基础】线性回归
线性回归 两个特征有没有线性关系。 y=kx+b,用最小二乘法约束 假设数据集: D{(x1,y1),(x2,y2),....(xn,yn)},xi∈Rp,y∈RD\{(x_1,y_1),(x_2,y_2),....(x_n,y_n)\},x_i∈R^p,y∈RD{(x1,y1),(x2,y2),....(xn,yn)},xi∈Rp,y∈R X=(x1,x2,...xn)TX=(x_1,x_2,...x_n)^TX=(x1,x2,...xn)T=(x1Tx2T⋮xnT)\begin{p原创 2021-08-17 12:07:13 · 86 阅读 · 0 评论