![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
统计学习方法
文章平均质量分 82
瞳恩Dawn
记录贴记录贴
展开
-
矩阵的内积外积-正交化-标准化-正交标准化-矩阵的逆
点乘(Inner product)内积 uuu and vvv 是列向量. u=[u1,u2,u3]u = [u_1, u_2, u_3]u=[u1,u2,u3] and v=[v1,v2,v3]v = [v_1, v_2, v_3]v=[v1,v2,v3] DotProduct(u,v)=uT⋅v=u1∗v1+u2∗v2+u3∗v3DotProduct(u, v) = u^T\cdot{v} = u_1*v_1 + u_2*v_2 + u_3*v_3DotProduct(u,v)=uT⋅v=u原创 2022-05-19 19:31:59 · 862 阅读 · 0 评论 -
二项逻辑回归模型(logistic regression model)
Binary logistic regression model 是分类模型,由概率分布P(Y∣X)P(Y|X)P(Y∣X)计算,是参数化的Logistic分布 先概述一下这个模型的条件概率分布 P(Y=1∣x)=exp(w⋅x+b)1+exp(w⋅x+b)P(Y=1|x)=\frac{exp(w\cdot{x}+b)}{1+exp(w\cdot{x}+b)}P(Y=1∣x)=1+exp(w⋅x+b)exp(w⋅x+b) P(Y=0∣x)=11+exp(w⋅x+b)P(Y=0|x)=\frac{1}{原创 2022-05-14 14:33:07 · 2532 阅读 · 0 评论 -
决策树:介绍信息熵-信息增益-决策树信息增益法构造决策树
熵 什么是熵 熵,表示事物的不确定性 信息,可以消除不确定性的事物 看见某些特定的情况下,某些后果的成功率就变高了 看见某些特定的情况下,某些干扰就消除了 噪音,白白让人浪费注意力的东西,完全没用 信息熵的公式 是怎么推倒出来的 此处参考 “致敬大神”里啃西瓜书的B站视频 个人感觉讲的极好 首先先声明信息熵公式Ent(D)=−∑k=0∣y∣pklog2pkEnt(D) = -\sum_{k=0}^{{\mid}y{\mid}}p_k{log_2}p_kEnt(D)=−∑k=0∣y∣pklog原创 2022-05-06 21:48:22 · 284 阅读 · 1 评论 -
基于KNN的K-D树的创建与搜索及代码实现
KNN 输入:特征向量 输出:分类 在训练集中寻找与当前点最近的k个点,然后根据例如多数表决等规则进行分类 How to define the distance of two vectors Lp distance import numpy as np x_1 = np.array([1, 2, 3, 4]) x_2 = np.array([5, 6, 7, 8]) def Lp_distance(p, x_1, x_2): x = x_1 - x_2 x = np.abs(x)原创 2022-05-06 16:32:13 · 340 阅读 · 0 评论