科研基础(野生技术栈、课程补充)
文章平均质量分 77
1.各种语言学习工具
2.科研论文中各种基础知识学习
|7_7|
深度学习技术爱好者
展开
-
【科研基础】PRML
当数据量较小时,复杂模型更容易过拟合,因为它可以在有限的数据上找到各种模式,而这些模式在更大的数据集上可能并不成立。最大似然估计在有限样本量下,特别是在参数数量远大于数据点数量时,倾向于选择复杂模型,从而导致高方差和过拟合。然而,如果模型过于复杂(即,),它可能会“记住”训练数据中的噪声和异常值,从而导致过拟合。,如果模型有太多参数,它可能会精确拟合训练数据,包括数据中的噪声。1.通过先验分布,引入对参数的约束,避免参数估计过大或过小。总结:在不施加额外约束的情况下,过拟合是最大似然的直接结果。原创 2024-06-24 18:47:15 · 690 阅读 · 0 评论 -
【科研基础】联邦学习
[1]. Kairouz, Peter, et al. “Advances and open problems in federated learning.” Foundations and trends® in machine learning 14.1–2 (2021): 1-210.[2]. Wang, Hui-Po, et al. “ProgFed: effective, communication, and computation efficient federated learning by原创 2024-05-12 09:21:03 · 108 阅读 · 0 评论 -
【科研基础】随机过程
【13】➡️X X等号是简化,不等号才是化简,引入不等号需要假设。好的假设:1.实现容易;2.存在空间巨大;3.实际应用广泛;➡️X X连续时间离散状态:possion过程;连续时间连续状态:高斯过程;遮住B,成立(很常用,信息论里面先不看条件);➡️X。原创 2024-04-26 16:42:05 · 158 阅读 · 0 评论 -
【科研基础】VAE: Auto-encoding Variational Bayes
x\mathbf{x}x:为z\mathbf{z}z的采样,生成自条件分布pθ∗x∣zpθ∗x∣zθ∗\theta^*θ∗表示ground truth而θ\thetaθ表示解码器参数),;z\mathbf{z}zx\mathbf{x}x更本质的描述(不可直接观测),来自先验分布pθ∗zpθ∗z;目标是是根据x\mathbf{x}x能够得到z\mathbf{z}zpθx∫pθzpθx∣zdzp。原创 2024-03-23 17:45:15 · 1082 阅读 · 0 评论 -
【科研基础|课程】信息论
F:\B\2.sources\CS258信息论。原创 2024-03-09 14:40:35 · 877 阅读 · 0 评论 -
【科研基础】图片处理及可视化
【代码】【科研基础】图片处理及可视化。原创 2024-03-08 19:32:39 · 353 阅读 · 0 评论 -
【科研基础】插图摘录
FedSL: Federated Split Learning for Collaborative HealthcareAnalytics on Resource-Constrained Wearable IoMT DevicesBlockchain-Based Trustworthy and Efficient Hierarchical Federated Learning for UAV-Enabled IoT Networks原创 2024-03-05 15:49:44 · 352 阅读 · 0 评论 -
【科研基础】python绘图、配色
1][2]原创 2024-03-05 11:24:29 · 515 阅读 · 0 评论 -
【科研基础|课程】矩阵分析 持续更新
卡氏积:集合的乘积cartesian product,两个集合各取一个数构成一个个对。举例:平面是两个直线坐标的cartesian product。前者是集合的映射,后者是元素的映射。举例sinx的集合映射是(-域的定义:可以进行加减乘除四种运算的运算系统。[-1, 1],取一个元素π映射为0,即。映射带尾与不带尾的箭头。原创 2024-02-24 14:47:29 · 854 阅读 · 0 评论 -
【科研基础】讨论2023.7.8
比如说信息的重建一样,例如在接收端比较重构(以图像为例)与原始的PSNR,两者相同的情况下,其所传递信息的压缩比进行比较,目前来看的话,我看文章中有些利用channel bandwidth ratio来比,有的利用bpp,但是从两者之间来看,达到相同PSNR时,似乎压缩比并未有很大的变化,那么这种常见的信息重建场景下,语义通信与传统通信的优势似乎只剩下了JSCC所带来的克服cliff效应了,是个人的见解,不知是否正确。内容上的语义抽象和任务导向的语义抽象总结的很赞。jscc要求就少一点。原创 2023-07-08 22:58:22 · 21 阅读 · 0 评论 -
【科研基础】PSNR计算
transforms.Normalize((0.5, 0.5, 0.5)将输入图像的每个信道都作了归一化(均值=0.5,方差=0.5),(input[channel]-0.5)/0.5=2*input[channel]-1,原来图像∈[0,1],现在∈[-1,1],mse增加,psnr减少,验证如下。下面的代码是将单张图片喂入JSCC,计算PSNR。实验目的是:比较不同图像预处理方式对PSNR的影响。与上述结果几乎没有差别,只要统一就好。原创 2023-11-24 11:19:26 · 445 阅读 · 0 评论 -
【科研基础】信息瓶颈,HSIC,GS,图像相似度等相关性判断方法
Information Bottleneck的主要想法是。,信息在链中被逐层压缩,原创 2024-02-24 10:21:34 · 587 阅读 · 0 评论 -
【科研基础】MIMO-OFDM
MIMO(多入多出):多天线技术。注意:此处的多天线,并不是有多个天线板,对基站来讲指天线有多套振子(每一套振子都可以看成一个独立的天线)。4G 8天线;5G 64T64R;不仅基站是多天线,手机也是多天线(5G手机是4天线,4G是两天线,4G网速是75Mb/s,采用两天线则为150Mb/s)。原创 2024-02-08 20:25:21 · 670 阅读 · 0 评论 -
【科研基础 | 课程】深度学习理论
下面图像,蓝色曲线是期望风险,黑色曲线是经验风险,都是以h为变量的函数,蓝色曲线最低点期望误差最小是optimal solution h^*,黑色曲线最低点是经验风险最小化的solution,不光假设影响经验风险,训练集也影响。也可以被拉低,大部分情况下期望风险和经验风险的差距是小于\epsilon的,但是中间是弹力绳,运气不好时,差距可能大于\epsilon,运气不好时超过\epsilon多少也是未知的,这样的双重不确定性听起来不靠谱。,损失函数在训练集上的均值),所以下面的目标是追求经验风险最小化。原创 2024-02-05 14:28:02 · 1643 阅读 · 1 评论 -
【科研基础】前沿AI方法(VIT、ConvMixer等)
关于transformer、VIT和Swin T的总结。原创 2023-12-02 13:01:31 · 1240 阅读 · 0 评论 -
【科研基础】关于BERT
3.BERT 论文逐段精读--对应笔记.【B站】https://www.bilibili.com/read/cv14068934。2.BERT 论文逐段精读.【B站】https://www.bilibili.com/video/BV1PL411M7eQ/4.NLP论文阅读:BERT.【知乎】https://zhuanlan.zhihu.com/p/449782671。原创 2023-06-20 15:56:03 · 132 阅读 · 1 评论 -
【科研基础】关于transformer
Attention 机制最早是在计算机视觉里应用的,随后在NLP领域也开始应用了,真正发扬光大是在 NLP 领域,因为 2018 年BERT和 GPT 的效果出奇的好,进而走红。左:XX^T计算两个向量的相关度(向量的内积表征两个向量的夹角,表征一个向量在另一个向量上的投影),通过softmax归一化(每个字都有自己[0,1]之内的关注度),再和自己X相乘。Count指的是参考译文的词'the'出现在译文里面的次数Count=2,Max_Ref_Count=4表示'the'在参考译文里面出现的次数。原创 2023-06-20 14:10:46 · 660 阅读 · 0 评论 -
【科研基础】英文写作 单词和句式
阅读论文的过程中,将常用的高级词汇和句式记录。revisit:重新审视。原创 2023-03-29 21:48:52 · 71 阅读 · 0 评论 -
【科研基础】matlab绘制PARR
作者在使用matlab编程时,常忘记一些函数的使用规则,因此在这里记录,先起二级标题,如果能够记录达到一定规模,就归纳一级标题。原创 2023-03-23 20:38:16 · 570 阅读 · 1 评论 -
【科研基础】PyTorch基础知识基础入门
代码】【PyTorch基础知识】基础入门。原创 2022-08-12 22:14:27 · 520 阅读 · 0 评论 -
【科研基础】Parameters和FLOPs计算
1.Parameters计算用以下的网络举例:输出每一层具体信息:原创 2022-06-08 15:54:28 · 1643 阅读 · 0 评论