- 博客(23)
- 收藏
- 关注
RSS订阅原创 互信息（二）熵、交叉熵、条件熵、相对熵、信息增益、KL散度与互信息
信息论中一些易混淆概念熵熵表示一个系统的不确定程度，对于一个服从离散分布函数p(x)的随机变量，其熵为H(X)=−∑i=1np(xi)logp(xi)H(X)=-\sum_{i=1}^n p(x_i)\log p(x_i)H(X)=−i=1∑np(xi)logp(xi)其物理意义是对于一段信息来说，编码(单位长度信息)最少需要用多少bits交叉熵交叉熵用来衡量两个分布的差异程度，常用来做多标签分类问题的损失函数H(X,Y)=−∑i=1np(xi)logp(yi)H(X,Y)=-
2021-03-24 21:31:43
606
原创 Paper Reading Note: Knowledge Distillation via Instance Relationship Graph
目录Knowledge Distillation via Instance Relationship Graphidea实现LIRGL_{IRG}LIRGLIRG−tL_{IRG-t}LIRG−tLMTKL_{MTK}LMTK Multi-Type Knowlede LossKnowledge Distillation via Instance Relationship Graph论文地址idea此前的知识蒸馏方法只考虑了feature间的距离，希望学生网络对于某个实例生成的特征能够和老师网络
2020-12-11 16:10:56
1022
原创 互信息（一）信息与信息熵
互信息（一）信息与信息熵信息与信息熵如何测量信息信息熵与信息量的定义方式：以动能与功的关系为参考信息量的定义方式：以质量的定义方式为参考Example信息与信息熵如何测量信息信息也是一种物理量从感性上来说，信息量是描述变化程度的量，在物理上，我们可以容易的找到另一个物理量——功信息熵与信息量的定义方式：以动能与功的关系为参考现在考虑我们是如何计算某个阶段给物体带来的总体上的动能变化的——我们对于很复杂的过程，我们一般不直接进行测量/计算这个阶段的各种力在时间维度上的做功变化（因为功作为一个反映变
2020-10-02 12:37:41
1249
1
原创 DPSS quant 1.1 因果 芝加哥大学Uchicago暑校数理统计部分
1.1 因果(Causality)1.1.1 Motivation理清数据间的因果关系对于解释和指导现实世界具有重要意义1.1.1.1 例子1665年，伦敦爆发鼠疫，是时人们猜测鼠疫成因与动物有关，并因此屠杀了40000余狗和5倍于此的猫当时的数据表明，猫的数量与黑死病死亡数正相关，烟雾与黑死病死亡数负相关看起来，杀死猫似乎并非毫无根据，然而事实是这样的有老鼠滋蔓的地方黑死病的死亡数更高，而因为有老鼠，这里的猫才会更多！杀死猫只会增加死亡数量！1.1.1.2 例子1854年，伦敦医生J
2020-09-14 09:46:21
977
1
原创 并行与分布式计算导论 练习题指导（三）
练习题指导等效关系T(n,1)≥CT0(n,p)T(n,1)\ge CT_0(n,p)T(n,1)≥CT0(n,p)实际计算中，记并行时间复杂度为g(n)g(n)g(n)，通讯时间复杂度为h(n,p)h(n,p)h(n,p)，可以简化为g(n)≥Ch(n,p)g(n)\ge Ch(n,p)g(n)≥Ch(n,p)化简该不等式得到n≥f(p)n\ge f(p)n≥f(p)此即并行系统的等加速比关系可拓展性函数对于规模为n的问题，记M(n)M(n)M(n)为问题所需的内存，则该问题的并行实现
2020-05-26 11:14:24
1150
原创 Paper Reading Note: MapReduce
MapReduce摘要简介：MapReduce是一个编程模型，主要关于Map和Reduce两个函数意义：以此为架构的程序能够在大量普通配置的计算机上实现并行化处理。MR架构可以使没有并行计算和分布式系统开发经验的程序员有效利用分布式系统的资源1 介绍问题引入：Google公司面临海量的数据计算，想要在可接受的时间内完成任务，只能将这些计算分布在成百上千的主机上。因此，如何处理并行计算、如何分发数据、如何处理错误等问题综合在一起，需要大量的代码处理。为了解决这些复杂的问题，作者设计
2020-05-19 20:56:34
414
原创 Paper Reading Note：Paxos
Paxos的临时议会Paxos目标概念假设协议协议规则协议的执行ProposerAcceptor完整流程Prepare PhaseAccepte PhaseLearner活锁PaxosThe Paxos algorithm, when presented in plain English, is very simple.简单个屁目标在一个分布式系统中，几台计算机要就一个问题达成统一（比如...
2020-04-15 20:36:03
472
原创 并行与分布式计算导论 练习题指导（一）
第一题回顾MPI的通信机制，写出如下Collective Communications操作的伪代码：One-to-all BroadcastAll-to-all ReductionScatter参考答案（参考答案仅给出了框架，用？隐去了一些部分）如果是要交作业，那么抄袭可耻，但如果需要帮助，欢迎联系我，我的邮箱是ledge@pku.edu.cn下面全部以超立方体为例，超立方体结...
2020-04-08 19:29:35
2705
2
原创 并行与分布式计算导论（七）MPI Collective Communication
并行与分布式计算：MPI进阶（七）Section 7 MPI Collective Communication7.1 概述7.1.1 四个通信函数7.1.2 五个通信域函数7.1.3 Collective Communication7.2 一些说明7.3 按行分解MPI_AllgathervMPI_Gatherv7.4 按列分解MPI_ScattervMPI_Alltoallv7.5 棋盘式分解通...
2020-04-08 19:14:59
3324
5
原创 并行与分布式计算导论（六）MPI入门
并行与分布式计算：MPI入门（六）Section 6 MPI 入门6.1 Why MPI？6.1.1 MPI与OpenMP6.1.2 为什么要了解MPI6.2 MPI基础讲解6.2.1 头文件6.2.2 基本库函数6.2.3 编译6.2.4 执行指定进程数目指定主机处理器Multiple Program Multiple Data(MPMD)6.2.5 Send & ReceiveNon-...
2020-04-07 12:10:12
2179
1
原创 Paper Reading Note：Delta Debugging
Delta Debugging原作者：Andreas ZellerMotivation土豆明码力强劲一夜改千行，黄老仙觉得他思路清晰逻辑通顺感觉自己犇得不行！18000行的小明带飞龙这波，要做这个优化轻而易举啊。哎呀，奶不死的啊，这怎么奶死嘛？**老子是专业码农好吗？这怎么奶死嘛？专业码农这种局面还看不懂啊？F5了！F5了！FFFF5了，让你们看看什么叫专业码农好吗？直接骑脸了好吗...
2020-04-03 22:14:53
599
原创 并行与分布式计算导论（五）OpenMP基础详解
并行与分布式计算：OpenMP详解（六）OpenMP编译指导语句指导句：#pragma omp parallel for指导句：#pragma omp parallel指导句：#pragma omp for指导句：#pragma omp single指导句：#pragma omp section(s)指导句：#pragma omp task指导句：#progma omp barrier 与 #pr...
2020-04-01 14:14:57
2485
原创 并行与分布式计算导论：OpenMP语句概览（持续更新）
并行与分布式计算：OpenMP的语法大全（五）Section 5 OpenMP的语句头文件库函数指导句X #progma omp Xparallelforparallel forcriticalmastersinglesingle nowaitbarrier指导句子句Y #pragma omp X Yshared([varibleList])private([varibleList])reduct...
2020-03-31 16:59:30
1048
原创 并行与分布式计算导论（四）问题的结构与分解
并行与分布式计算：OpenMP编程中的任务结构与分解（四）Section 4 OpenMP编程中的任务的分解与分配任务的分解并行度（degree of concurrency）任务依赖关系图关键路径（重要）任务交互图（Task Interaction Graph）并行效果任务的分配任务、线程与映射新的一轮MPI作业已经发布，我尽量在DDL之前给同学们把MPI部分也更新出来！鱼生苦短，争取更咸！...
2020-03-31 16:54:16
1429
原创 并行与分布式计算导论（三）并行程序设计的基本原则
并行与分布式计算：并行程序设计的基本原则（三）Section 3 并行程序的基本设计原则3.1 增量并行化3.2 Foster的设计理念（四步法）3.2.1 划分数据划分任务划分Pipelining（生产线）Foster检查表3.2.2 通信Foster检查表3.2.3 聚集目标Foster检查表3.2.4 映射目标任务数固定时的映射方法任务数量动态变化任务数动态变化时常见的任务调度算法总结Fos...
2020-03-29 20:40:52
2319
原创 并行与分布式计算导论（二）编程模型与硬件模型
并行与分布式计算：基本模型与算法设计（二）Section 2 编程模型与硬件模型2.1 并行模型与结构2.1.1 System Layers（不重要）2.1.2 三种并行编程模型（重要）Shared address space（SAS Model）Message passingData parallel编程模型强加在程序上的结构现代实践（混合编程模型）2.1.3 三种机器结构（不重要）Flynn分...
2020-03-29 20:21:10
1373
原创 并行与分布式计算导论（一）衡量并行程序好坏的指标
并行与分布式计算：基本模型与算法设计（一）介绍Lecture 1 回顾Lecture 2 编程模型与算法设计的基本原则并行模型与结构System Layers三种并行编程模型Shared address space（SAS Model）Message passingData parallel编程模型强加在程序上的结构现代实践（混合编程模型）三种机器结构（注意，==下面的仅需看看，了解一下就行==）...
2020-03-23 22:38:36
1586
4
原创 Typora基础教程
目录Typora基础教程Markdown简介Typora安装教程mac安装教程Windows安装教程Markdown基本语法教程Markdown的常用格式Markdown的空格、换行与段落Typora数学公式教程Typora基础教程Markdown简介什么是Markdown：Markdown是一种轻量级的标记语言，用户通过一系列符号，如：#*[+$`，来表示粗体、斜体、超链接、列表、公...
2020-03-13 19:04:13
1603
原创 洛谷练习题1-3
三连击一道水题，注意代码如何写的短(我这种写法要判断是否有0)#include <iostream>using namespace std;bool mark[13]={0};inline bool judge(int num){ for(int i=0;i<11;i++) { mark[i]=false; } for(...
2019-12-16 21:46:45
278
原创 洛谷练习题1-2
小玉家的电费分段函数#include <iostream>using namespace std;int main(){ float k,sum=0; cin>>k; if(k>=401) { sum=sum+(k-400)*0.5663; k=400; ...
2019-12-15 20:49:02
235
原创 Java后端开发光速入门教程（二）mac+windows SpringBoot快速开发部署Java Web项目
基于Springboot的JavaWeb开发材料准备Intellij Ultimate一个自带JDK和Springboot的男人Xshell/iTerm远程操作服务器终端的媒介项目创建运行IntelliJ IDEA，如下图，点击Creat New Project选择Spring Initializer，选择SDK，Service Url使用默认选项（Default）即可，点击n...
2019-10-28 17:47:07
395
原创 Java后端开发光速入门教程（一）mac+windows 快速服务器环境配置
服务器环境配置服务器准备示例材料CentOS 7.3 轻量应用服务器@阿里云CentOS的好处是默认打开了port:22如果用Windows系统还需要在防火墙中手动添加，具体步骤如下阿里云服务器管理→服务器安全设置→防火墙已设置x条（点击x）→添加规则→三项设置为SSH TCP 22Xshell(Windows)/iTerm(Mac)用来连接服务器终端XFtp(Wind...
2019-10-28 16:53:05
335
原创 Python：AppStore评论的抓取及其词频分析（一）
总述老师让我帮他抓评论，于是有了这篇文章。爬虫部分不细讲——CSDN上有现成的，就是抓出来是乱码，我帮原博主Debug而已。引用声明声明：代码引自CSDN博主「Trisyp」的原创文章，遵循CC 4.0 by-sa版权协议。原文链接：https://blog.csdn.net/Trisyp/article/details/78602783代码# -*- coding: utf-8 -*...
2019-08-19 21:52:15
3679
14
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人