Walker-C

L0L_0L0​ 范数：∣∣ω∣∣0=#(xi≠0)||\omega||_0= \#(x_i \not=0)∣∣ω∣∣0​=#(xi​​=0)（非零元素的个数）L1L_1L1​ 范数：∣∣ω∣∣1=∑i=1d∣xi∣||\omega||_1=\sum_{i=1}^d|x_i|∣∣ω∣∣1​=∑i=1d​∣xi​∣ （绝对值之和）L2L_2L2​ 范数：∣ω2∣∣=(∑i=1dxi2)12|\omega_2|| =(\sum_{i=1}^dx_i^2)^{\frac{1}{2}}∣ω2​∣∣=(∑i=

文章目录交叉熵损失函数1 信息量2 信息熵3 相对熵（KL散度）4 交叉熵4.1 二分类4.2 多分类5 小结6. 参考资料交叉熵损失函数交叉熵是信息论中的一个重要概念，主要用户度量两个概率分布间的差异性，要理解交叉熵，需要了解下面几个概念。1 信息量信息论奠基人香农认为信息是用来消除随机不确定性的东西，也就是说衡量信息量的大小就看信息消除不确定性的程度。“太阳从东边升起”，这条信息没有减少不确定性，因为太阳一直都是从东边升起，所以这条信息的信息量为0。“2020年中国队成功进入世界杯”，因为中

文章目录AutoRec 模型1. AutoRec 模型定义2. 自编码器3. 模型训练4. 模型工作过程4.1 I-AutoRec 和 U-AutoRec 的区别5. AutoRec的局限性参考资料AutoRec 模型1. AutoRec 模型定义AutoRec 是一个基于自编码器的协同过滤模型，该模型将深度学习中的神经网络和推荐结合。2. 自编码器作用：对于输入向量 r, 通过自编码器后，将得到一个和 r 很接近的向量。对于通过自编码器的数据，相当于取出输入数据的“精华”，即自编码器完成了

文章目录一、基本原理二、实现思路三、源代码四、代码运行结果一、基本原理上篇博客（python 实现感知机）简单描述了感知机的实现，本文主要讲述感知机对偶形式的实现。在感知机原始形式的训练中，若将 ω\omegaω 和 b 的值分别初始化为 [0., 0.]、0，ω\omegaω 的更新过程则为 ω\omegaω += 学习率 * 标签值 * 点的坐标，b 的更新过程为 b += 学习率 * 标签值，可以看出 ω\omegaω 和 b 都是增量更新的（逐步修改 ω\omegaω 和 b 的值）。我们可

文章目录一、基本原理二、实现思路三、源代码四、代码运行结果一、基本原理感知机（perceptron）是一个二类分类的线性分类模型，其几何意义是寻找一个超平面将点（特征空间）划分为正类和负类。本文以二维平面为例，实现一个简单的感知机模型。二、实现思路在二维平面中，感知机的训练过程即寻找一条直线，这条直线可以将平面中线性可分的点分离开，代码实现思路如下：生成训练数据：为了保证数据是线性可分的，在生成数据前确定两个点（如：（2, 2）、（6， 6）），在这两个点的周围随机生成数据，分别给这两个点周围