- 博客(21)
- 收藏
- 关注
原创 信息测度实例(二):信息熵、联合熵、条件熵、互信息、条件互信息
例二:非均匀分布假设随机变量XXX有两个分布律:XXXAAABBBCCCDDDPPP14\frac{1}{4}4114\frac{1}{4}4114\frac{1}{4}4114\frac{1}{4}41XXXAAABBBCCCDDDPPP12\frac{1}{2}2114\frac{1}{4}4118\frac{1}{8}8118\frac{1}{8}81YYY表示选择两种分布律的概率:YYY1
2024-04-03 09:39:28
340
原创 信息测度实例(一):信息熵、联合熵、条件熵、互信息、条件互信息
注意,本文所举实例中对数运算均采用自然对数底数e0×log00假设随机变量XYZX111000Y011100Z001110。
2024-04-03 09:35:43
560
原创 信息测度:信息熵、联合熵、条件熵、互信息、条件互信息、块熵、相对熵、转移熵
信息量是指从N个相等可能事件中选出一个事件所需要的信息度量或含量,也就是在辩识N个事件中特定的一个事件的过程中所需要提问是或否的最少次数。在一个系统中,等可能事件的数量越多,事件的发生概率也就越低,传递究竟是哪个事件发生所需的比特信号也就越多。举个例子,假如有两个相互隔离的房间A、B,二者只能通过01信号传递信息。当A房间投掷了一个硬币时,我们至少需要使用log221个比特信号告诉B房间是正面朝上还是反面朝上。类似地,当A房间投掷了一个有8个面的骰子时,我们至少需要log2。
2024-04-03 05:59:24
1140
原创 线性代数的本质(五)
如果一个多元二次函数的每一项的变量次数都为222,则称这个二次函数是齐次的,即二次型。二次型中只能含有平方项和某两个变量的交叉相乘项。
2024-04-03 02:10:06
437
原创 线性代数的本质(四)
在线性变换过程中,大部分向量经过线性变换都离开了它所张成的空间;但也有一部分向量留在了它所张成的空间,线性变换对这些向量。线性变换后留在自身张成的空间中()的向量,称为特征向量。特征向量经过线性变换后不发生旋转,只会拉伸或者缩放,而衡量特征向量在变换中拉伸或压缩比例的因子,就是特征值,特征值为负值时表示向量被反向拉伸或者缩放。如果属于同一特征值的任意n个向量线性无关,那么它们张成的空间中的任意向量都是属于这一特征值的特征向量(),且在变换中只发生缩放变换。
2023-11-02 13:47:34
193
原创 线性代数的本质(三)
v⋅wab⋅cdacbd这种计算在几何上的解释是:向量v在向量w上的正交投影长度,乘以向量v的长度,本质上是先投影再缩放。两个向量方向相同时结果为正,相反时结果为负,垂直时结果为0。从线性变换的角度来看,假如有一个线性变换,它将基向量i和j分别变换至1−2,则变换矩阵就为1−2。跟踪一个向量,如向量43T在变换之后的去向,将这个向量分解成4i3j,由于线性性质,变换后这个向量的表示仍为4i3j。
2023-11-01 11:16:18
142
原创 线性代数的本质(二)
若向量v经过A变换后可以经过另一种变换B还原,则称A变换是可逆的。例如,矩阵A01−10表示逆时针旋转90°的变换,则A的逆变换就是顺时针旋转90°B0−110。即:矩阵B是矩阵A的逆矩阵。A−1AE可以理解为什么都不做。像A变换这样的变换称为恒等变换。若A变换降低了空间的维度,此时detA0,我们称A变换为不可逆变换。例如,此时就没有逆变换,因为不能将一条直线解压缩成一个平面。
2023-10-30 21:27:22
64
原创 线性代数的本质(一)
向量指具有大小和方向的量。它可以形象化地表示为带箭头的线段。箭头所指:代表向量的方向;线段长度:代表向量的大小。与向量对应的量叫做数量(物理学中称标量),数量(或标量)只有大小,没有方向。向量表示空间中的一种运动关系,正负号表示运动方向。如向量1−21\\-2\\1−2表示在一个二维坐标系中,从原点出发,先沿xxx轴正方向前进1,再沿yyy轴负方向前进2,同理可以推导到多维空间。
2023-10-26 21:55:23
97
原创 矩阵求导之五:机器学习中的常用公式(下)
结论八∂(aTXTb)∂X=baT\frac{\partial \left( \boldsymbol{a}^T\boldsymbol{X}^T\boldsymbol{b} \right)}{\partial \boldsymbol{X}}=\boldsymbol{ba}^T∂X∂(aTXTb)=baT其中a\boldsymbol{a}a,b\boldsymbol{b}b为常数向量:a=[a1a2⋯an]T b=[b1b2⋯bm]T\boldsymbol{a}=\left[
2023-10-22 15:17:52
50
原创 矩阵求导之五:机器学习中的常用公式(上)
在了解了矩阵求导的定义之后,可以借助定义进行一些机器学习中常用公式的推导。约定x\boldsymbol{x}x为nnn维列向量:x=[x1x2⋯xn]T\boldsymbol{x}=\left[ \begin{matrix} x_1& x_2& \cdots& x\\\end{matrix}_n \right] ^Tx=[x1x2⋯xn]T结论一∂a∂x=0\frac{\partial a}{\partial \boldsymbol{x}}=0∂
2023-10-22 13:30:46
114
原创 矩阵求导之四:定义篇(下)
6 矩阵对标量求导6.1 定义对于m×nm\times nm×n的矩阵Fm×n(x)=[f11(x)f12(x)⋯f1n(x)f21(x)f22(x)⋯f2n(x)⋮⋮⋱⋮fm1(x)fm2(x)⋯fmn(x)]m×n\boldsymbol{F}_{m\times n}\left( x \right) =\left[ \begin{matrix} f_{11}\left( x \right)& f_{12}\left( x \right)& \cdots& f_{1n
2023-10-22 02:01:37
94
原创 矩阵求导之三:定义篇(中)
5 向量对矩阵求导5.1 定义设矩阵Xm×n=[x11x12⋯x1nx21x22⋯x2n⋮⋮⋱⋮xm1xm2⋯xmn]\boldsymbol{X}_{m\times n}=\left[ \begin{matrix} x_{11}& x_{12}& \cdots& x_{1n}\\ x_{21}& x_{22}& \cdots& x_{2n}\\ \vdots& \vdots& \ddots& \vdots
2023-10-20 05:52:50
70
原创 矩阵求导之二:定义篇(上)
有了上一篇文章的直观感受,本篇文章将针对同类型的函数、变元给出严谨的导数定义。因为向量和标量都可以表示成简单的矩阵形式,所以这里我们使用矩阵来泛化的表示所有含义。规定:粗体小写字母(如x\boldsymbol{x}x)表示向量,粗体大写字母(如X\boldsymbol{X}X)表示矩阵。1 标量对向量求导1.1 定义设f(x)=f(x1,x2,⋯ ,xn)f\left( \boldsymbol{x} \right) =f\left( x_1,x_2,\cdots ,x_n \right)f(x)=f(
2023-10-20 04:05:40
99
原创 矩阵求导之一:理论篇
函数\变元标量变元向量变元矩阵变元实值标量函数fxfxfxfxfXfX实向量函数fxfxfxfxfXfX实矩阵函数FxFxFxFxFXFX函数\变元标量变元向量变元矩阵变元实值标量函数∂f∂x∂x∂f∂f∂x∂x∂f∂f∂X∂X∂f实向量函数∂f∂x∂x∂f∂f∂x∂x∂f∂f∂X∂X∂f实矩阵函数∂F∂x。
2023-10-11 17:21:57
110
原创 压缩感知(一):数学基础(稀疏、范数、符号argmin)
课题要用到压缩感知,越看越觉得坑越大,需要补充的基础知识越来越多。没办法,慢慢学习,慢慢记录吧。第一篇文章解决三个问题:稀疏、范数、argmin。
2023-10-08 05:37:29
365
原创 编译riscv-pk 出现 unrecognized opcode `fence.i‘, extension `zifencei‘ required
打开Makefile文件,在第64行发现,编译选项里指定的是lp64。,而我在编译riscv-toolchain的时候指定的mabi是。在github上查找解决方法,得到的解决方法为:添加编译选项。这些文件都是自动生成的,没办法复制。github上的解决方法为:复制。文件夹下,随便打开一个文件,显示。,保存,重新编译,即可编译成功。
2023-10-01 18:37:50
1742
原创 Ubuntu 安装SimPoint工具
在gem5模拟器上运行程序是时间开销是十分庞大的,尤其是乱序模拟的时候,时间往往不可接受。那么如何加快程序运行时间呢?SimPoint工具应运而生。把程序切成片段,每一个片段有他们的feature,对这些片段进行聚类。SimPoint认为一个cluster里的片段是相似的,用聚类最靠近中心点或者其它指标来选最有代表性的片段。一个cluster有多大,这个片段的权重就多大。下载SimPoint:https://cseweb.ucsd.edu//~calder/simpoint/simpoint-3-0.
2022-05-26 10:33:23
1102
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人