- 博客(21)
- 收藏
- 关注
RSS订阅原创 信息测度实例（二）：信息熵、联合熵、条件熵、互信息、条件互信息
例二：非均匀分布假设随机变量XXX有两个分布律：XXXAAABBBCCCDDDPPP14\frac{1}{4}4114\frac{1}{4}4114\frac{1}{4}4114\frac{1}{4}41XXXAAABBBCCCDDDPPP12\frac{1}{2}2114\frac{1}{4}4118\frac{1}{8}8118\frac{1}{8}81YYY表示选择两种分布律的概率：YYY1
2024-04-03 09:39:28
340
原创 信息测度实例（一）：信息熵、联合熵、条件熵、互信息、条件互信息
注意，本文所举实例中对数运算均采用自然对数底数e0×log00假设随机变量XYZX111000Y011100Z001110。
2024-04-03 09:35:43
560
原创 信息测度：信息熵、联合熵、条件熵、互信息、条件互信息、块熵、相对熵、转移熵
信息量是指从N个相等可能事件中选出一个事件所需要的信息度量或含量，也就是在辩识N个事件中特定的一个事件的过程中所需要提问是或否的最少次数。在一个系统中，等可能事件的数量越多，事件的发生概率也就越低，传递究竟是哪个事件发生所需的比特信号也就越多。举个例子，假如有两个相互隔离的房间A、B，二者只能通过01信号传递信息。当A房间投掷了一个硬币时，我们至少需要使用log221个比特信号告诉B房间是正面朝上还是反面朝上。类似地，当A房间投掷了一个有8个面的骰子时，我们至少需要log2。
2024-04-03 05:59:24
1140
原创 线性代数的本质（五）
如果一个多元二次函数的每一项的变量次数都为222，则称这个二次函数是齐次的，即二次型。二次型中只能含有平方项和某两个变量的交叉相乘项。
2024-04-03 02:10:06
437
原创 线性代数的本质（四）
在线性变换过程中，大部分向量经过线性变换都离开了它所张成的空间；但也有一部分向量留在了它所张成的空间，线性变换对这些向量。线性变换后留在自身张成的空间中（）的向量，称为特征向量。特征向量经过线性变换后不发生旋转，只会拉伸或者缩放，而衡量特征向量在变换中拉伸或压缩比例的因子，就是特征值，特征值为负值时表示向量被反向拉伸或者缩放。如果属于同一特征值的任意n个向量线性无关，那么它们张成的空间中的任意向量都是属于这一特征值的特征向量（），且在变换中只发生缩放变换。
2023-11-02 13:47:34
193
原创 线性代数的本质（三）
v⋅wab⋅cdacbd这种计算在几何上的解释是：向量v在向量w上的正交投影长度，乘以向量v的长度，本质上是先投影再缩放。两个向量方向相同时结果为正，相反时结果为负，垂直时结果为0。从线性变换的角度来看，假如有一个线性变换，它将基向量i和j分别变换至1−2，则变换矩阵就为1−2。跟踪一个向量，如向量43T在变换之后的去向，将这个向量分解成4i3j，由于线性性质，变换后这个向量的表示仍为4i3j。
2023-11-01 11:16:18
142
原创 线性代数的本质（二）
若向量v经过A变换后可以经过另一种变换B还原，则称A变换是可逆的。例如，矩阵A01−10表示逆时针旋转90°的变换，则A的逆变换就是顺时针旋转90°B0−110。即：矩阵B是矩阵A的逆矩阵。A−1AE可以理解为什么都不做。像A变换这样的变换称为恒等变换。若A变换降低了空间的维度，此时detA0，我们称A变换为不可逆变换。例如，此时就没有逆变换，因为不能将一条直线解压缩成一个平面。
2023-10-30 21:27:22
64
原创 线性代数的本质（一）
向量指具有大小和方向的量。它可以形象化地表示为带箭头的线段。箭头所指：代表向量的方向；线段长度：代表向量的大小。与向量对应的量叫做数量（物理学中称标量），数量（或标量）只有大小，没有方向。向量表示空间中的一种运动关系，正负号表示运动方向。如向量1−21\\-2\\1−2表示在一个二维坐标系中，从原点出发，先沿xxx轴正方向前进1，再沿yyy轴负方向前进2，同理可以推导到多维空间。
2023-10-26 21:55:23
97
原创 矩阵求导之五：机器学习中的常用公式（下）
结论八∂(aTXTb)∂X=baT\frac{\partial \left( \boldsymbol{a}^T\boldsymbol{X}^T\boldsymbol{b} \right)}{\partial \boldsymbol{X}}=\boldsymbol{ba}^T∂X∂(aTXTb)=baT其中a\boldsymbol{a}a，b\boldsymbol{b}b为常数向量：a=[a1a2⋯an]T b=[b1b2⋯bm]T\boldsymbol{a}=\left[
2023-10-22 15:17:52
50
原创 矩阵求导之五：机器学习中的常用公式（上）
在了解了矩阵求导的定义之后，可以借助定义进行一些机器学习中常用公式的推导。约定x\boldsymbol{x}x为nnn维列向量：x=[x1x2⋯xn]T\boldsymbol{x}=\left[ \begin{matrix} x_1& x_2& \cdots& x\\\end{matrix}_n \right] ^Tx=[x1x2⋯xn]T结论一∂a∂x=0\frac{\partial a}{\partial \boldsymbol{x}}=0∂
2023-10-22 13:30:46
114
原创 矩阵求导之四：定义篇（下）
6 矩阵对标量求导6.1 定义对于m×nm\times nm×n的矩阵Fm×n(x)=[f11(x)f12(x)⋯f1n(x)f21(x)f22(x)⋯f2n(x)⋮⋮⋱⋮fm1(x)fm2(x)⋯fmn(x)]m×n\boldsymbol{F}_{m\times n}\left( x \right) =\left[ \begin{matrix} f_{11}\left( x \right)& f_{12}\left( x \right)& \cdots& f_{1n
2023-10-22 02:01:37
94
原创 矩阵求导之三：定义篇（中）
5 向量对矩阵求导5.1 定义设矩阵Xm×n=[x11x12⋯x1nx21x22⋯x2n⋮⋮⋱⋮xm1xm2⋯xmn]\boldsymbol{X}_{m\times n}=\left[ \begin{matrix} x_{11}& x_{12}& \cdots& x_{1n}\\ x_{21}& x_{22}& \cdots& x_{2n}\\ \vdots& \vdots& \ddots& \vdots
2023-10-20 05:52:50
70
原创 矩阵求导之二：定义篇（上）
有了上一篇文章的直观感受，本篇文章将针对同类型的函数、变元给出严谨的导数定义。因为向量和标量都可以表示成简单的矩阵形式，所以这里我们使用矩阵来泛化的表示所有含义。规定：粗体小写字母（如x\boldsymbol{x}x）表示向量，粗体大写字母（如X\boldsymbol{X}X）表示矩阵。1 标量对向量求导1.1 定义设f(x)=f(x1,x2,⋯ ,xn)f\left( \boldsymbol{x} \right) =f\left( x_1,x_2,\cdots ,x_n \right)f(x)=f(
2023-10-20 04:05:40
99
原创 矩阵求导之一：理论篇
函数\变元标量变元向量变元矩阵变元实值标量函数fxfxfxfxfXfX实向量函数fxfxfxfxfXfX实矩阵函数FxFxFxFxFXFX函数\变元标量变元向量变元矩阵变元实值标量函数∂f∂x∂x∂f∂f∂x∂x∂f∂f∂X∂X∂f实向量函数∂f∂x∂x∂f∂f∂x∂x∂f∂f∂X∂X∂f实矩阵函数∂F∂x。
2023-10-11 17:21:57
110
原创 压缩感知（一）：数学基础（稀疏、范数、符号argmin）
课题要用到压缩感知，越看越觉得坑越大，需要补充的基础知识越来越多。没办法，慢慢学习，慢慢记录吧。第一篇文章解决三个问题：稀疏、范数、argmin。
2023-10-08 05:37:29
365
原创 编译riscv-pk 出现 unrecognized opcode `fence.i‘, extension `zifencei‘ required
打开Makefile文件，在第64行发现，编译选项里指定的是lp64。，而我在编译riscv-toolchain的时候指定的mabi是。在github上查找解决方法，得到的解决方法为：添加编译选项。这些文件都是自动生成的，没办法复制。github上的解决方法为：复制。文件夹下，随便打开一个文件，显示。，保存，重新编译，即可编译成功。
2023-10-01 18:37:50
1742
2原创 Ubuntu 安装SimPoint工具
在gem5模拟器上运行程序是时间开销是十分庞大的，尤其是乱序模拟的时候，时间往往不可接受。那么如何加快程序运行时间呢？SimPoint工具应运而生。把程序切成片段，每一个片段有他们的feature，对这些片段进行聚类。SimPoint认为一个cluster里的片段是相似的，用聚类最靠近中心点或者其它指标来选最有代表性的片段。一个cluster有多大，这个片段的权重就多大。下载SimPoint：https://cseweb.ucsd.edu//~calder/simpoint/simpoint-3-0.
2022-05-26 10:33:23
1102
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人