qq_37657182的博客

原创 假设检验

背景如果这位女士不具备品尝能力，那么，她能够品对1杯的概率有50% 。在这种情况下，即使她品对了，我们也不会立刻就相信她有这种能力，因为这种概率太高了，理论上一半人都可以做到。但是，如果给她8杯，她都品对了，那么，在这种情况下，我们就不得不重新考虑。因为如果她不具备这种能力，仅凭猜测而都猜对的概率实在太低了，只有0.39%, 以至于我们不得不怀疑一开始所做假设（这位女士不具备这种能力）的正确性。1. 假设检验检验我们的假设是否正确，也就是说，先要有一个假设，然后才谈得上检验。一般我们会从正面做出假设

原创 PageRank和带重启的随机游走算法

1. PageRank基本原理Pagerank算法是Google的网页排名算法，由拉里佩奇发明。其基本思想是民主表决。在互联网上，如果一个网页被很多其他网页所链接，说明它受到普遍的承认和信赖，那么它的排名就高。同时，排名高的网站链接可靠，所以这些链接的权重会更大。网页的排名来自于所有指向这个网页的其他网页的权重之和。y的排名=x1+x2+x3+x4=0.081=x_1+x_2+x_3+x_4=0.081=x1​+x2​+x3​+x4​=0.081接下来的问题是x1,x2,x3,x4x_1,x_2,x

原创 Boostrap、Bagging和Boosting

Bootstrap思想：利用小样本的分布来估计总体真实的分布，在小样本时效果很好Bagging属于集成学习的一种，从训练集从进行子抽样组成每个基模型所需要的子训练集。抽个要放回去，对所有基模型预测的结果进行综合产生最终的预测结果。代表：随机森林（RF）,可以既可以处理属性为离散值的量，比如ID3算法来构造树，也可以处理属性为连续值的量，比如C4.5算法来构造树。结果为少数服从多数，多个决策树的投票结果。随机森林中的分类器是并行生成的。Boosting一种框架算法，用来提高弱分类器准确度的方法。Bo

原创 实体抽取和远程监督

1. 实体关系抽取定义： 抽取一个句子中实体对之间的关系。解决思路： 想要训练一个关系抽取器，给它一个句子俩实体，首先它需要知道给这俩实体间的关系打个什么标签，模型不可能自己给关系取名字，所以肯定需要人用标注好的语料告诉他，这俩实体间的关系叫啥。然后模型训练好了，再遇到哪个句子里有这种实体对，他就会知道是这个关系并抽出来。监督学习、无监督学习、自助学习（从数据集中选取一批种子实例(seed instances)，学习完这些种子实例之后应用到大规模语料库中）2. 远程监督...

原创 Highway Network

原创 信息论的一些概念

信息量：事件携带信息的多少。事件发生概率越大，信息量就越小熵：信息量的期望，反应事件的不确定度。所有取值可能性相等时，此时没有先验知识，不确定度最大，为1相对熵（KL散度）：两个随机分布p,qp,qp,q间的距离度量，反映任意两个概率分布间的差异交叉熵：在相对熵的基础上增加了真实分布的熵，反映计算概率分布与真实概率分布间的差异...

转载 安装Sublime可能出现的坑点

若出现下面情况：g++: error: :No such file or directoryg++:fatal error: no input filescompilation terminated.[Finished in 0.0s with exit code 1]解决办法1）C++编译器的路径不对，导致sublime无法在环境变量的Path中找到该编译器；2）新建的编译系统的保存路径不对。读者可以测试一下，如果将.sublime-build文件保存在非User路径下，是无法编译成功的；

原创 第四章——维纳滤波原理

均方误差准则及误差性能面误差：误差平均功率：作变量代换：最终

原创 第九章——有ISI和AWGN信道的最佳接收机

1. 设计思想2. 三种均衡方法2.1 最大似然序列检测升级版滤波器：2.2 系数可调的线性滤波器2.3 判决反馈均衡器

原创 第九章——受控ISI的带限信号设计

1. 引言虽然有ISI，但是这部分ISI是受控的，可以消除这部分串扰。如果超过奈奎斯特速率，则无法保证无ISI传输，但是有时又需要超过该速率，因此引入受控的ISI，既保障速率又减少ISI。2. 举例说明例如：对应频域：对应第一个抽样周期，令其不为0，相当于频域上向右平移了T...

原创 第九章——带限信道的数字通信

1. 带限信道的特征通过以下信道没有产生畸变，允许有线性的幅度缩放和线性的时延：2. 带限信道的信号设计在第kkk个周期进行抽样会有前面时隙信号的遗存分量，产生符号间的干扰2.1 无ISI的带限信号设计时域需要满足的条件：等价的频域条件为：这是一个组合函数，由同一函数平移拼接而成；公式表达的意思是要保证拼接函数是一个常数。比如：在kT时刻(k≠0k\neq0k​=0)时，信道输入都为0，这样就可以保证按T间隔采样，得到的输出信号无ISI2.2 讨论1T\frac{1}{

原创 第七章和第八章——信道编码

1. 线性分组码XmX_mXm​相当于基矩阵，CmC_mCm​相当于输出矩阵2. 基于网格和图形的编码

原创 第六章——信道模型和信道容量

1. 四种信道模型1.1 二进制对称信道 BSC离散二进制输入，离散二进制输出1.2 离散无记忆信道 DMC离散q进制输入，离散Q进制输出1.3离散输入、连续输出由于噪声的影响且在输出端不量化，这样的输出就是连续的，如离散时间AWGN信道1.4 波形信道输入是波形，输出也是波形， 例如波形AWGN信道2. 信道容量2.1互信息与平均互信息同样，对于指定的信道，p(yi∣xj)p(y_i|x_j)p(yi​∣xj​)是一定的，I(X,Y)I(X,Y)I(X,Y)就取决于输入符号

原创 第五章——符号定时估计

引言用于符号定时估计的方法面向判决的定时估计非面向判决的定时估计也可以利用早迟门进行非面向判决的符号定时估计载波相位 和符号定时的联合估计联合估计的估计值优于各自优化的估计值最优估计表达式：...

原创 第五章——信号参数估计

1. 引言同步抽样和相干检测都需要用到载波和符号同步载波恢复：产生相干载波，进行相干解调符号同步：定位T时刻，在T时刻进行抽样如果存在不同的现象会产生以下影响：2. 信号参数估计2.1 同步中需要估计的信号参数M元PSK接收机框图：3. 载波的相位估计对似然函数进行求导，求出最大的Θ\ThetaΘ即可，先不考虑传输时延τ\tauτ，只考虑相位ϕ\phiϕ载波相位的两种估计方法：3.1 复用法专门发送未调制的导频信号，接收机用锁相环获取并追踪这个载波分量3.1.1 估

原创 第四章——有记忆信号传输方式的检测

1. 最大似然检测算法在有记忆信号的网格图上搜索具有最小欧式距离的路径1.1 NRZI的最大似然检测两个可能的发送信号点：匹配滤波器在第kkk个间隔的输出：两个发送信号的条件PDF:假设输出序列时r1,r2,…,rkr_1,r_2,\dots,r_kr1​,r2​,…,rk​，则输出序列的条件PDF是连乘积的形式：最大似然检测序列，sms^msm是一种序列，这样的序列有2K2^K2K个，找出一个最优的序列：1.2 维特比算法由于这样的序列有2K2^K2K个，穷举法找出最优的序列复

原创 计算复杂性——第十章

近似算法判决问题和优化问题：同一问题的两种表述方式1. 最小顶点覆盖的近似算法即一直找两个端点都没有被标记的边，直到不存在这样的边为止。上述算法显然是多项式时间算法，且该近似算法得到的顶点覆盖点数不超过最小顶点覆盖点数的两倍。核心思想：首先证明其是一个顶点覆盖，其次证明其大小的确不超过最小顶点覆盖的两倍证明：令XXX为近似算法得到的顶点覆盖，HHH为XXX覆盖的边的集合，YYY为最小顶点覆盖。HHH中的每条边最多向XXX贡献两个顶点，因此XXX大小最多是HHH大小的两倍，即∣X∣≤2∣H

原创 计算复杂性——第九章

本章主要证明某些问题的确是难解的1. 层次定理1. 空间层次定理空间可构造函数fff：如果存在一个图灵机M，使对M输入任何字W时，其总停机，且停机时纸带上至多有f(n)个单元非空，同时在整个计算过程中没有用到f(n)之外的其他单元。fff至少是O(logn)级别的，可以是log2(n),nlog2(n),n2log_2(n),nlog_2(n),n^2log2​(n),nlog2​(n),n2....

原创 计算复杂性——第八章

空间复杂性同时间复杂性，我们定义非确定图灵机的空间复杂度，为空间使用最多分支所使用的空间大小。概念定义SPACE(f(n))SPACE(f(n))SPACE(f(n))：确定性图灵机在O(f(n))O(f(n))O(f(n))空间能进行判定的语言（问题）集合NSPACE(f(n))NSPACE(f(n))NSPACE(f(n))：非确定性图灵机在O(f(n))O(f(n))O(f(n))空间能进行判定的语言（问题）集合空间复杂度分类1. SPACE(n)SPACE(n)SPACE(n)：确定性图

原创 计算复杂性——第七章

时间复杂性问题：一个单带图灵机M1M_1M1​多少时间能够判决一个输入是否满足语言A={0k1k∣k≥0}A=\{0^k1^k|k\geq0\}A={0k1k∣k≥0}？一种语言：可以看作一类判决问题（其他问题可以转化为判决问题）Solution 1:从左到右扫描，如果0出现在1的右边，则拒绝该输入为语言AAA循环步骤1，直至扫描完毕，仍无法判决。继续扫描，每遇到一个0就相应删除一个1如果最终0和1都被删除，则接受该输入为语言AAA，否则拒绝该输入为语言AAA上述方案的时间复杂度：我们

原创 计算复杂性——第三章

引言：可以从自动机、可计算性和复杂性三个方面来讨论计算机的基本功能和限制。自动机理论：研究计算模型的定义和性质可计算理论：根据问题是否可以解决进行分类复杂性理论：根据问题的难易程度进行分类可判定性问题（决策问题、Entscheidungsproblem）：确定数学陈述是true还是false。邱奇-图灵定理：在算法上不可能确定算术语句是对还是错。乔姆斯基范式：除可选规则S→ϵS\rightarrow \epsilonS→ϵ之外，所有规则都是扩张的，至少比推导之前的字符串多出一个元素。长度为

原创 计算复杂性——序言

奖项及对应人物屠呦呦：诺贝尔生理学或医学奖莫言：诺贝尔文学奖德布罗意：诺贝尔物理学奖丘成桐（1982）、陶哲轩（2006）：菲尔兹奖（40岁以下）陈省身（1983）、丘成桐（2010）：沃尔夫奖（没有年龄限制）张益唐：孪生素数猜想张首晟：华裔美籍物理学家Church-Turing Thesis（邱奇图灵论题）任何算法都可以由一台图灵机来执行，即以任何编程语言编写的算法都可以被翻译成一台图灵机，反之亦然，因此任何一种编程语言都足够用来有效的表达任何算法。简而言之就是“任何在算法上可计算的

原创 第四章——数字信号传输方法的比较

1. 比较准则1. 1 功率效率准则：给定PeP_ePe​，比较所需的SNRSNRSNR1.2 带宽效率准则给定SNRSNRSNR，比较带宽效益r=RWr=\frac{R}{W}r=WR​1.3 维度定理对于带宽为WWW，持续时间为TTT的信号，其维度时N=2WTN=2WTN=2WT，即每秒具有2W2W2W个自由度1.4 带宽效率公式由维度定理结合符号速率进行推导：2. 分析带限信号与功限信号的带宽效率2.1 分析带限信号的带宽效率带限信号：调制阶数的增加不会带来带宽的增加，传输

原创 第四章——不确定情况下的最佳检测（非相干检测）

1. 背景存在时延情况下的发送信号和信道模型接收到的带通信号的信号部分表达式：由于tdt_dtd​很小，但是fctdf_ct_dfc​td​可能很大，因此只有sml(t−td)s_{ml}(t-t_d)sml​(t−td​)可以忽略其中的tdt_dtd​项。2.二进制信号的最佳相干检测考虑传播时延和加性噪声得到接收信号和接受信号的等效低通信号的表达式：判决器的判决结论公式——贝塞尔函数：当发送符号的先验概率相等时，贝塞尔公式可以得到如下的化简形式：其中r1cr_{1c}r1c​

原创 第四章——功限信号传输的最佳检测和错误概率

1. 正交信号1.1 正交信号的差错概率M个相关器的PDF表达式,假设输入信号是s1s_1s1​在发送为s1s_1s1​的条件下，正确判决的概率：平均符号错误概率：平均比特错误概率（不是应用格雷编码，因为各星座点之间的距离相等，格雷码相邻符号之间只有一比特不同，无法实现格雷编码，格雷编码可以防止尖峰电流脉冲）3dB两倍，6dB四倍，对数的加减等于实际的乘除。功限信号与带限型号相反，可以通过增加波形数量来减少比特错误概率，但是有最小比特信噪比ϵbN0\frac{\epsilon_b}{N

原创 第四章——带限信号传输的最佳检测和错误概率

带限信号1. ASK信号（带通的PAM信号，调幅）1.1 如何根据ASK的时域表达式来求其矢量表达式ASK的时域表达式：根据施密特正交化思想，求该维度有效分量rk(t)r_k(t)rk​(t)，然后除以rk(t)r_k(t)rk​(t)对应的能量求得基函数：将sm(t)s_m(t)sm​(t)用基函数表示，前面的系数构成矢量表达式1.2 如何求ASK中相邻点的最小距离根据矢量表达式，求任意两个信号点m,n的通项距离公式：又Am=(2m−1−M)A_m = (2m-1-M)Am​=(2

原创 第四章——波形与矢量AWGN信道

njn_jnj​的性质：n2n_2n2​的性质：忽略n2(t)n_2(t)n2​(t)可以将信号直接转化为矢量形式：相关接收机匹配滤波器

原创 第三章——调制信号的功率谱

1. 线性数字调制信号（PAM、PSK、QAM）的功率谱当消息符号为实数，且互不相关时：2. CPFSK、CPM的功率谱

原创 第三章——有记忆调制

一、有记忆线性调制NRZ：不归0编码，+A、-A切换NRZI：带差分的不归0编码信号有记忆性的描述方式：状态图转移矩阵（矩阵中aija_{ij}aij​表示iii状态转移到jjj状态的概率）网格图：在状态图的基础上，增加时间的演进Milller码的四个状态：状态图：1. 连续相位FSK（CPFSK）...

原创 第三章——多维信号传输

多维信号：维数高于2维，在时域、频域或者在两个域上同时增加维数。其中一个维度的基信号无法用其它维度的基信号进行表示。由标准正交基的定义式：可以得出这组等能量正交信号每个信号的矢量表达式为：计算最小空间距离为：1. 频移键控(FSK) ，非线性调制区别于相移键控（e指数的结合项不同）FSK信号的正交条件：2.双正交信号...

原创 第三章——无记忆调制方式

无记忆调制：当前调制的波形只和当前kkk比特数据有关，与之前的比特数据无关有记忆调制：当前调制的波形不仅与当前kkk个比特数据有关，还和之前lll个比特数据有关线性调制：对两个信号的和进行调制，等于对两个信号进行调制之后的和非线性调制：不满足线性调制的调制方式无记忆调制方式1. 脉冲幅度调制PAM...

原创 第二章——2.2波形的信号空间表示

Gram-Schmidt正交化ckic_{ki}cki​为投影，注意是归一化后的符号表达式投影，γk(t)\gamma_k(t)γk​(t)为新维度的投影分量，ϕk(t)\phi_k(t)ϕk​(t)为标准化的基（形象理解过程即可）如：带通和低通标准正交基问题：如何由等效低通的标准正交基来获得带通信号完备的标准正交基实数域NNN个基，复数域NNN个基，以上公式基于ϕnl(t)\phi_{nl}(t)ϕnl​(t)是N维复基的前提，可以看作是两套基的加权相加。...

原创 第二章——2.1 带通与低通信号的表示

带通与低通信号的表示将带通信号转化为等效的低通信号实信号x(t)x(t)x(t)的频域特性：频域幅度偶对称，频域相位奇对称。因此我们只需要分析单边频域就可以完整重构x(t)x(t)x(t)。将x(t)x(t)x(t)的正频率部分叫做x(t)x(t)x(t)的解析信号，可以通过该部分解析出x(t)x(t)x(t)来。u−1(f)=12+12sng(f)u_{-1}(f) = \frac{1}{2}+\frac{1}{2}sng(f)u−1​(f)=21​+21​sng(f)，滤波器为希尔伯特变换涉

原创 第一章——绪论

1. 数字通信系统的组成数字通信系统: 用来传输数字消息（信源编码后是数字信号）的系统，在系统信道中传输的信号是连续时间信号，不是数字信号。（例如PAM信号是连续时间的信号，不是取值有限，时间离散的信号）信源编码器：在不损失信息量的情况下，减少冗余（编码量）并变换为二进制数字序列信道编码器：增加冗余，保证信号在信道中的可靠传输（抗干扰、噪声），码率 = 编码前总码数编码后总码数\frac{编码前总码数}{编码后总码数}编码后总码数编码前总码数​（还原编码对应误码）数字调制器：将信息序列映射为对应

转载 Latex中参考文献可能踩的坑

查找正文中，有没有出现丢失符号，打错符号的地方。正文没有错误的前提下，就是保证正文中至少有一个引用参考文献，例如\cite{1}检查bib文件的参考文献目录格式是否正确，引用的参考文献是否在bib文件中。检查bib文件保存的编码“ANSI”，其他编码容易编译不通过（我的原因就是编码的问题，因为保存的时候，参考文献中有特殊符号，所以保存为了"unicode"，导致后续的编译不通过）。在每次检查的过程中，重新编译之前都要删除上一次生成aux, bbl, log, bak等文件，重新编译。...

原创 收敛速度

①设序列{Xk}\{X^k\}{Xk}收敛于解X∗X^*X∗，若β\betaβ线性收敛： 0<β<10<\beta<10<β<1超线性收敛： β=0\beta =0β=0次线性收敛： β=1\beta = 1β=1②设序列{Xk}\{X^k\}{Xk}收敛于解X∗X^*X∗，若ppp阶收敛，则对∀q<p\forall q<p∀q&...

转载 牛顿法

附加

原创 精确一维搜索

前提：求单峰函数ϕ(t)\phi(t)ϕ(t)的极小点①黄金分割法算法构造思想插入的两点在搜索区间中是对称的，因此无论删除哪一端，留下的总是长为β的区间。同时保证下一次迭代，能利用上一次迭代计算过的点。保证了每次迭代都以同一个的比率缩短区间。β1=αβ\frac{\beta}{1} = \frac{\alpha}{\beta}1β​=βα​在[a,b][a,b][a,b]区间插入...

原创 非精确一维搜索

提出背景： 精确一维搜索计算一个最优步长计算量巨大。我们换一种思路，每次下降不要求最优步长，一个大体满意的步长即可。大体满意的步长往往存在一些共性规律，下面介绍三种准则：①Goldstein准则记ϕ(t)=f(Xk+tPk)\phi(t) = f(X^k+tP^k)ϕ(t)=f(Xk+tPk)，那么Goldstein准则可以改写为：将ρ\rhoρ和ϕ′(0)\phi^{'}(0)ϕ′(...

原创 最速下降法

最速下降法的思想：按照该点最快的下降方向进行搜索（梯度方向），并找到一个该方向一个最优步长梯度方向走一个步长，用二阶泰勒公式去逼近：由于是最优步长，因此对ttt求导为0，求得的ttt为最优步长可得最优步长：迭代点的递推公式，可以表示如下：由于最速下降法，每次都是走的最优步长，因此每次对ttt求导都会满足求导后的函数值为0：结论最速下降法相邻两次迭代的方向互相垂直，这就影响了...