Stockholm_Sun的博客

原创 线性代数笔记

本笔记仅用作个人使用，主要目的是捡起大一几何与代数的知识，顺带把线性代数学好。前置知识包括方程组的计算（中学）；高斯消元；矩阵乘法。基于MIT Strang教授线性代数课程和丁坤博覃立波的笔记而来，如有不妥或侵权请指出，我会及时修改。以如下方程组为例：{2x−y=0,−x+2y=3.\left\{\begin{aligned}2x-y & = &0, \\-x+2y & = &3.\end{aligned}\right.{2x−y−x+2y​==​0,3.​对方程组我们有两种解释：（1）二

原创 Reed-Muller(RM)码的编码（含举例，非推导向）

RM码（里德-穆勒码）的编码1.参数及其性质RM码由(r,m)(r,m)(r,m)两个参数定义，记作RM(r,m)。其中满足0≤r≤m0\le r\le m0≤r≤m，含义为：码长：n=2mn=2^mn=2m维数：k(r,m)=∑i=0i=rC(m,i)k(r,m)=\sum_{i=0}^{i=r}C(m,i)k(r,m)=∑i=0i=r​C(m,i)最小（汉明）距离：dmin=2m−rd_{min}=2^{m-r}dmin​=2m−r2.举例说明以RM(2,3)为例，设计如下m+1=3+1m

原创 【亲测！效果极好】Pytorch深度学习模型训练如何加速？看看ETH的研究生怎么说

Pytorch深度学习模型训练加速本文主要解读在Pytorch进行神经网络深度学习时，导致训练时间大大增加的一些应当被摒弃的坏习惯，以及一些能够加速训练的方法。从而让我们在使用Pytorch的时候更加快速。这个指南的原作者LORENZ KUHN是来自ETH计算机科学的研究生，在此鸣谢。此外，我参考了AI公园的内容，非商业用途，若有侵权请告知我删除。他给出的方案中，会专注于可以直接在PyTorch中进行的更改，而不需要引入额外的库，但是我们假设要使用GPU训练模型。1. 考虑使用另外一种学习率策略

原创 PyTorch Geometric MPNN学习笔记（实现向）

建立消息传递网络MPNN本文主要从实现层面讲解代码。在Graph中，如果将卷积这一操作推广到其他域中时，往往用邻域聚合或消息传递来表示。接下来有定义几个Notation：xi(k)\textbf{x}_i^{(k)}xi(k)​表示第kkk次迭代的节点iii的节点特征；ej,i\textbf{e}_{j,i}ej,i​表示从节点jjj到节点iii的（可选的）边缘特征；iii被约定为单向边的目的节点；jjj被约定为单向边的源节点；N(i)\mathcal{N}(i)N(i)表示节点iii的邻居节

原创 MKL只会矩阵运算？快来看看它的FFT和IFFT！

MKL的FFT和IFFT实现MKL是Intel公司推出的一项数学库，其功能主要是用于加速矩阵运算等。最近的工作中接触到了MKL。但你以为MKL除了加速处理矩阵就啥也不会了么？非也！它甚至可以进行快速傅里叶及其逆运算！简直是CS和EE领域的一大福音！那么它究竟怎么去完成呢？在这里我仿了一个C语言的代码，主要是做了一次FFT，再做一次IFFT，那么它的结果应该和一开始一样的。值得一提的是Nfft一定要是2的幂次，具体原因详见任意DSP教材（然而我并没有修过辣）。代码如下：#include <

原创 如何推导MMSE检测公式？

如何推导MMSE检测公式？这两天用到MMSE检测，对于它的推导，我前期只是在“知其然”，今天就来“知其所以然”，来证明一下MMSE检测公式。MMSE检测用来求解什么？首先，要知道信道的基本模型：y=Hx+n\textbf{y}=\textbf{H}\textbf{x}+\textbf{n}y=Hx+nH\textbf{H}H是信道矩阵，x\textbf{x}x是发送信号向量，n\textbf{n}n是噪声向量。目标是用MMSE（最小化均方误差）的方法，求得使得x^\hat\textbf{x}x^

原创 MIMO信道容量推导（奇异值分解法）

MIMO信道容量推导（奇异值分解法）Massive MIMO，目前是5G的一项关键技术。那么求解它的信道容量，对于我们研究它的属性尤为重要。今天，我们就求算一下信道容量。在通信系统中我们学到信道容量的一个计算式：C=Blog2(1+SNR)C=Blog_2(1+SNR)C=Blog2​(1+SNR)其中BBB是带宽，SNRSNRSNR是信噪比，CCC是信道容量。那么其实我们就是需要求解SNRSNRSNR。假设M个接收天线，N个发送天线，那么MIMO模型的表达式如下：y=Hx+n\textbf

原创 【Updating】二〇二一流水账

一月5th 出大问题，预感学校将会做出离谱的事情。14th 考试周缩短至7天，所幸我们学院还在尽力减少学生的绩点损失。23rd 考试周结束，到申前辈家里聚(cèng)餐(fàn)。24th 和友邻牧鸡启程山东。28th war/zyn/牧鸡/sunyt 八球大战，个人觉得应该还算是块打桌球的料（bushi）。29th (UTC-5) ISCAS 2021结果公布，宋学姐和淘淘的一作文章均中稿，See you in Daegu Metropolitan City!（第3次出国机会可别又双叒叕泡

原创 熵和互信息

熵和互信息读文献想要算信道容量的时候，遇到了需要用到熵和互信息相关的推导，所以找纪佬要来信息论的课件拿来看了看，在这里也是一个记录。定义先搬上来两个定义。熵的定义：互信息量的定义：（E: Expectation; p:possibility）Venn图理解——低阶接下来我们从Venn图开始了解熵的概念。H(·)表示熵，那么它有类似于如下所示的关系。H(X,Y)为联合熵，可以用并集来理解；H(X|Y)为条件熵，可以用补集来理解；I(X;Y)为互信息量，可以用交集来理解。通过Venn

原创 廿廿不忘——二〇二〇流水账

原创 Alpha Go和Alpha Go Zero的文献阅读

Nature的Alpha Go和Alpha Go Zero原文阅读:Mastering the game of Go with deep neural networks and tree search复杂度过高的解决方案：1.广度：策略p(a|s)是状态s上动作a的概率分布；2.深度：在状态s处截断搜索树，并用预测状态s的结果的近似值函数v(s)≈v*(s)替换s下的子树的实际情况。本文工作：A.训练过程1.SL（监督学习）策略网络：利用监督学习来预测围棋中专家的动作。最终输出概率分布函数P_

原创 VS调用Python函数的方法

VS调用Python函数的方法Yutai SunVS修改为Release x64VS项目属性→VC++目录→包含目录：PATHPATHPATH\include引用目录：PATHPATHPATH\libs链接器→输入/附加依赖项：PATHPATHPATH\libs\python37.lib（请根据自身实际选择Python版本）附言：PATHPATHPATH为Anaconda或其虚拟环境的路径，请将上述的所有PATHPATHPATH改为形如下列的形式F:\Anaconda\Anaconda3\

原创 Python如何加速for循环？除了Numba @jit之外还有什么方法？

今天聊聊Python 3.0的Numba库的即时编译@jit（Just in Time)。故事背景：知乎某小透明提出的一个问题Python的多重for循环可以用什么办法克服其速度慢的缺陷（numba@jit除外）？最近在回看自己之前打的代码，发觉一份项目里的Python代码里面，有一个三重循环十分耗时间，使用numba的话提升效果并不明显，想问问大家如何去解决。大家一起来讨论下吧~这个循环是在迭代的更新两个矩阵内元素，算法内的迭代并不支持用矩阵思想来批量处理，从而达到加速的目的。Reply现在

原创 PAC的编码

PAC的那些事儿编码方法：PAC的编码是基于两个

原创 长短期记忆网络（LSTM）及其量化方法

长短期记忆网络（LSTM）LSTM是一个比较常见的用于股市分析、序列数据预测的一种RNN网络。在1999年首次被提出[1]。本文主要从不借助Keras或Tensorflow的裸代码的角度，通过复现单层LSTM的神经网络，使读者更加理解这样的一个过程。Motivation本文的Motivation：在研究过程中发现，有时需要调整网络的精度或要求内部变量被量化，而TFLite并没有提供LSTM网络的模型，那么我们只能手打LSTM去解决这样的一个问题。Priciple原理图就不放了，网上一抓一大堆。

原创 Python 学习及项目笔记

前言近期在做的项目中有一些关于Python数据处理——Numpy的东西，以及一些Python的基本操作，在这里进行一些分享和记录吧，也记录一些自己掉进去过的坑，也希望能帮到大家啦。本文环境：Windows10+Anaconda(tensorflow on CPU)+Jupyter Notebook+Python 3.7.2正文取整操作和C++一样的，对某个数值向下取整。import ...

转载 因子图与和积算法

极化码置信传播(BP)译码算法的基本入门课——消息传播算法、因子图与和积算法，亲测，文章的例子和思路都很清晰，分享给大家~鸣谢：文字转自chuancyli 在198...

原创 BP相关论文的一些总结（待结）

阅读论文Belief Propagation Decoding of Polar Codes using Intelligent Post-processing内容复述及理解：1.概述了Polar Code和Original BP Decoding2.详细解释了IP - BP的运行过程，在正常的BP迭代后如果CRC判决不通过，则进行Intelligent post-processing，而...

原创 SC/BP基础记录本

SC译码已知信息位和信息/冻结比特分布情况。首先求算接收信道的LLR，实质上就是根据0/1的概率比较来判定。对于每一层向左迭代时，有LLR的迭代公式。对于冻结比特，直接判定其为约定好的数值；对于信息比特根据大于0与否，赋值为0/1。SSC针对于rate-0节点（全零子树），直接无需遍历其子树，也就是它的后代不会被激活。针对于rate-1节点，通过公式的推导/数学归纳法，可以在下传数据α...

原创 【模板】字符串哈希

P3370 【模板】字符串哈希（Luogu） 题目描述如题，给定N个字符串（第i个字符串长度为Mi，字符串内包含数字、大小写字母，大小写敏感），请求出N个字符串中共有多少个不同的字符串。友情提醒：如果真的想好好练习哈希的话，请自觉，否则请右转PJ试炼场:)输入输出格式输入格式： 第一行包含一个整数N，为字符串的个数。接下来N行每行包含一个字符串，为所提供的字符串。输出格式： 输出包含一行，包含

原创 Diary V（高考和自主招生篇）

2018年6月9日高考结束后的第一天，要准备自主招生面试，还不到松懈的时候，加油吧！2018年6月8日11：30AM 理综结束了，感觉自己的压力卸掉好多，准备准备最后一站吧！ 17：00PM 英语作文上的最后一段落下句点，我下意识地以手掩面，在黑暗之中我似乎感到自己异乎寻常的平静，高考结束了。跑回送考车发现大家也只是简单的庆祝，很少有人欣喜若狂。可能是大家经历了高三，都成熟了吧。...

原创 CS231n Assignment 1

聊了这么多理论，这次要开始实践了。今天先来看看第一次作业的内容，Stanford给出的题目在这里。Q1: k-Nearest Neighbor classifier (20 points)The IPython Notebook knn.ipynb will walk you through implementing the kNN classifier.Q2: Training a Su...

原创 更好的优化

更好的优化这次介绍几个更好的优化，回忆一下 损失函数 梯度 优化 一节我们所介绍的内容，我们介绍了最简单的优化算法：随机梯度下降（SGD）。然而，这个算法难以处理一些比较奇怪的情况，让我们来看看。引例损失函数的梯度登高表述如下图等高线，在这类函数上如果运行SGD，由于在竖直方向上梯度比较高，所以步长*梯度带来的在此方向的移动距离会很大，对应的水平距离移动就很小，结果就会造成像图中红线这样的又...

原创 批量归一化（Batch Normalization)

批量归一化在机器学习中，会提到这样一种数据处理的操作。首先将数据进行处理时，我们想把数据云变成零中心的，所以我们对每一个数据减去它们的均值，要想让它们在一个小区域内，那就再除以它们的方差。这样一来，网络处理数据就服从均值为0，方差为1的分布，也就是标准高斯分布。值得一提的是，图像处理中第二步基本不需要，因为数据规模是确定的，大概就是0-255，别无它选。总结如下：（图源知乎）学过高中数学的筒...

原创 激活函数

激活函数这次看看激活函数及其相关。先来看看一个简单神经元的结构吧！在胞体之前是有一个WX的计算，再加上一个bias，从而求算出新的数值，这时候激活函数出场了，它的目的就是对刚刚的数值进行一个转换，使得转换后的数值更加易于后期的处理。激活函数家族中大家比较熟悉的就是我们在反向传播的时候引例中的Sigmoid函数。那么我们就看看Sigmoid函数的特性。Sigmoid 函数首先一个比较显然...

原创 反向传播

反向传播（简述）这次简单的记录一下反向传播是怎么回事。在最开始，先引入一个概念：Computational Graphs 计算图以带正则惩罚项的线性分类器为例，它的计算图简述如下：这个理解起来比较简单，就是把运算符顺序排好之后，把变量通过运算符组合成中间变量，最后到达L的一张图就好了。这里再给出一个函数来辅助理解这件事情：它的计算图如下所示：接下来我们就以此为例展开说明反向传播...

原创 损失函数 梯度 优化

损失函数 梯度 优化上次看到了损失函数究竟是什么样子的，这次我们就来看看如何针对损失函数进行优化。首先按照CS231n课程的内容，我们导入了一个情境，在一个山地区域中我们想要到达地势最低点，那该怎么办。第一种想法就像吃鸡游戏一样，我在随机地点降落无数次，找到这一批随机地点中最低的，把它当作最小值。首先，这个的耗时实际取决于你降落的次数；其次，这玩意儿真的效果不好，而且不难看出，这种想法带来的...

原创 损失函数和正则化 Loss Function& Regularization

By Stockholm_Sun我们来谈谈关于深度学习的概念，损失函数。这次我将给出一些例子来解释。(Slide From Stanford CS231n)显然，现在的情况是：猫没有被正确分类，车是对的，青蛙完全错了。为了使它们完全正确，我们引入了损失函数。现存的损失函数还是比较多样的，这里介绍两种。SVM lossSVM损失函数具有如下形式：由于自变量的变化像一个合页，所以又...

原创 Notes on Python

基于CS231n的课程笔记这是一个基于Stanford CS231n课程笔记的小总结，主要以简明的文字叙述和Python代码呈现。鸣谢文章笔记来源 知乎Containers 容器这里侧重于看最简单的Lists列表，Dictionary字典，Set集等不在此处详述。Slicing 切片nums = range(5) # range is a built-in function th...

原创 Stanford CS231n 开帖祭

Stanford CS231n Note1最近（说来也得有半年多了）在看CV，觉得多学点东西求得一技之长嘛，然后在网上找了一些比较靠谱的课程，然后看了一些吴恩达，现在在看李飞飞的Stanford CS231n。然后正在读训练网络，除了觉得自己的英语愈发卑微……其实感觉还是学到了不少。然后这几天开始做一些Homework，前期准备的话，应该是需要一些的，先讲下我辣鸡电脑的一些情况，WIN10+P...

原创 Summary for SEUWC2019

Summary for SEUWC2019(Jan.18th~25th,2019;SEU Jiulonghu Campu,Nanjing)Sun Yutai,School of Information Science and Engineering, Southeast UniversityThe Winter Camp is really an impressive experience ...

原创 欧拉公式

欧拉公式山东省聊城第一中学 Stockholm_Sun最近在玩一些niubility的算法和公式，学到傅里叶的时候有点蒙蔽，据说要用到欧拉公式，所以今天复习下欧拉公式吧。欧拉公式，你以为是R+V-E=2吗？不不不，今天我们讲讲数论上的欧拉公式。 推导下面给出这个公式的推导。（字丑勿喷） 先导知识：泰勒公式 ...

原创 凸包入门

凸包入门凸包是信息学奥赛的计算几何里面一个比较重要的一块儿。今天写一下一些有关于凸包的入门内容。什么是凸包顾名思义，听见凸包的名字，大家大概对它的形状有一定的认识了。而凸包里面“包”的是什么呢？是一堆点。 就像这样。 就是一个凸凸的包把一堆点全包住啦 值得一提的是，凸包的各个顶点都是这些点里面的几个。 怎么解凸包呢今天主要讲讲葛立恒（Ronald Graham，...

原创 Codeforces Round #501

Codeforces Round #501Problem A.Points in Segments 题目概述 给定Ox轴总长度N和线段个数M，并分别给出M个线段所在的区间[l,r]覆盖在Ox轴上，问在轴上还有几个点没有被覆盖并将其罗列出来。数据规模N,M均小于100.思路： 一个类似于桶排序的思想，用bool数组去做覆盖，模拟这个过程，最后统计并输出即可。代码A：#inclu...

原创 行路难（SPFA+前驱记录）

与其留恋，不如洒脱。 —NEMT2018后的首题祭行路难（SPFA+前驱记录）题目来自洛谷P2832，难度（提高+/省选-），自以为应该是（普及/提高-）的黄题。题目概述：给定一张有向图，在图上每进行一次移动，图的所有边权都会在原基础上+1，求算从1到N点的最小边权和，并输出这个最短路。思路：比较显然的一件事情是，这个是个图论的最短路问题，还要记录前驱。每次移动都需要在...

原创 泰勒公式

泰勒公式O.绪言高考之后闲来无事，又搞了几天数学，感觉可以总结总结泰勒公式这块儿的内容。然后发现泰勒公式和二项式组合数学上的联系，所以说一说。 这篇博文适合学完导数的同学食用。I.神奇的泰勒公式先把公式挂上来， 我们先不管Rn(x)是怎么回事，只看前面这一部分的话就可以。然后我们就想套公式吧，举个栗子吧，我们令函数f(x)=e^x，式子中的a是一个已知函数值及其各阶...

原创 Diary IV

OI之路—NOIP退役文By Stockholm_Sun谨以此文致敬我所走过的信息学竞赛生涯。2017年11月12日下午，NOIP2017提高组疏散时间，我在电脑前敲打着键盘，以此纪念我的OI之路。这篇文章应该是给2016级，2017级以及以后的2018级小学弟学妹们留的吧。所以我先介绍一下自己，我是孙玉泰（Stockholm_Sun），是聊一2015级信息组的一名蒟蒻，在退役这一天我想着总得给你们

原创 Diary III

6th.Nov,2017距离NOIP 2017开赛还有4天，也就是说我的OI生涯还有6天，但是我还是很蒟蒻，去年比赛失利，连省三都没有得到。但是大考在即，当然还是希望，不，是要让自己得到省一，毕竟我个人对待OI还是功利性的，这样我就能够在自主招生中能够有一个敲门砖，考取理想的大学。两天前，我们以高三生的身份参加了学校组织的成人礼，大家西装革履，接下来放上我们信息组的集体合照。（NOIP看出来了吗？）

原创 [SDOI2012]Longge的问题（数论，欧拉函数）

[SDOI2012]Longge的问题P2303题目描述 Longge的数学成绩非常好，并且他非常乐于挑战高难度的数学问题。现在问题来了：给定一个整数N，你需要求出∑gcd(i, N)(1<=i <=N)。输入输出格式 输入格式： 一个整数，为N。 输出格式： 一个整数，为所求的答案。输入输出样例 输入样例#1： 6 输出样例#1： 15说明 对于60%的数据，0 < N <

翻译 [POI2005]SKA-Piggy Banks

[POI2005]SKA-Piggy Banks（Luogu P3420）English ProblemByteazar the Dragon has NN piggy banks. Each piggy bank can either be opened with its corresponding key or smashed. Byteazar has put the keys in some