- 博客(29)
- 收藏
- 关注
RSS订阅原创 GCN理论原理--谱图论
CNN中的卷积本质上就是利用一个共享参数的过滤器（kernel），通过计算中心像素点以及相邻像素点的加权和来构成feature map实现空间特征的提取，当然加权系数就是卷积核的权重系数Q。那么卷积核的系数如何确定的呢？是随机化初值，然后根据误差函数2通过反向传播梯度下降进行迭代优化。这是一个关键点，卷积核的参数通过优化求出才能实现特征提取的作用，GCN的理论很大一部分工作就是为了引入可以优化的卷积参数。注：这里的卷积是指深度学习（CNN）中的卷积，与数学中定义的卷积运算严格意义上是有区别的。
2024-05-11 15:55:04
1030
原创 面试——数学模块
线性代数线性奇次方程组有解的判断奇异值分解和特征值分解的区别奇异值分解得到的特征向量是否是正交的矩阵范数协方差矩阵和相关系数贝叶斯公式
2023-10-11 17:00:23
92
原创 BERT知识
被随机选择15%的词当中以10%的概率保持不变，缓解了finetune时候与预训练时候输入不匹配的问题（预训练时候输入句子当中有mask，而finetune时候输入是完整无缺的句子，即为输入不匹配问题）Masked LM 的任务描述为：给定一句话，随机 Mask 掉这句话中的一个或几个词，要求根据剩余词汇预测被 Mask 掉的几个词是什么。第二点的随机替换：因为需要在最后一层随机替换的这个 token 位去预测它真实的词，而模型并不知道这个 token 位是被随机替换的，就。
2023-10-11 00:49:04
117
原创 计算机基础知识
Python 中的全局解释器锁 (GIL) 限制了多线程并发处理的效率，因为在任何时候只能有一个线程在解释 Python 代码。Python 的内存管理机制对于小型应用程序来说是非常高效的，但在处理大型数据时，Python 可能会使用大量的内存，这可能会导致性能问题和系统崩溃。Python 全局解释器锁或GIL，简单来说，是一个互斥锁（或锁），它只允许一个线程控制 Python 解释器。Python自带垃圾回收机制，它会自动管理内存，清除不再使用的对象，减轻了程序员的工作负担。
2023-10-10 20:52:56
73
原创 BatchNorm，BatchNorm和LayerNorm的区别
完全是经验主义，没什么道理可讲，所以batch normalization本身是个次优的normalization，可能今后会被更优的normalization模型所取代。上述公式中的 momentum 为动量参数，在 TF/Keras 中，该值为0.99，在 Pytorch 中，这个值为0.9。初始值，moving_mean=0，moving_var=1，相当于标准正态分布，当然，理论上初始化为任意值都可以。相同点： 都是在深度学习中让当前层的参数稳定下来，避免梯度消失或者梯度爆炸，方便后面的继续学习。
2023-08-03 16:12:27
81
原创 LSTM介绍
长短期记忆（Long short-term memory, LSTM）是一种特殊的RNN，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比普通的RNN，LSTM能够在更长的序列中有更好的表现。
2023-07-29 15:52:56
58
原创 梯度消失和梯度爆炸
目前优化神经网络的方法都是基于BP，即根据损失函数计算的误差通过梯度反向传播的方式，指导深度网络权值的更新优化。其中将误差从末层往前传递的过程需要链式法则（Chain Rule）的帮助，因此反向传播算法可以说是梯度下降在链式法则中的应用。而链式法则是一个连乘的形式，所以当层数越深的时候，梯度将以指数形式传播。梯度消失问题和梯度爆炸问题一般随着网络层数的增加会变得越来越明显。在根据损失函数计算的误差通过梯度反向传播的方式对深度网络权值进行更新时，得到的梯度值接近0或特别大，也就是梯度消失或爆炸。
2023-07-28 17:56:34
67
1原创 华为实习夏季笔试题
工程师小王想要从海量的网络数据中，筛选出忙时数据。由于是海量数据，小王没办法对海量数据进行排序，再取topN的忙时数据（将数据从大到小排序，取前N个）。聪明的小王想到了使用固定大小的优先级队列来进行数据筛选。为了场景简化，我们用正整数集来表示海量的网络数据，同时只取N个忙时數据，也即只取N个最大的正整数。针对每一批数据输入，单独输出一行结果，直接将N个正整数拼接完完整的一行宇符串输出即可。第一行是正整数N和M，N为忙时个数，取值范围(1，24]，M为输入的数据行数，范围[1，1000]；
2023-06-07 21:58:17
367
原创 谢林模型——R语言实现
length(which(neighbor.all[[i]]==2)) 周围是红格子的数量。length(which(neighbor.all[[i]]==1)) 周围是蓝格子的数量。neighbor.all 记录矩阵中每个元素的周围，即左右上下分别是红格子、蓝格子、白格子。M[sample(which(M==0),1)]<- 1 随机选一个空格子变为 蓝格子。Chosen ，就是那些选出来要做判断的家庭编号，即矩阵元素的编号。M[i]==1 自己是蓝格子。用N×N的矩阵M表示。
2023-04-06 17:48:35
146
原创 Word-embeding 【paper】
参考paper: “Vector Semantics and Embeddin”Words and VectorsWords as vectors: word dimensionsterm-term | word-word | term-context | co-occurrence matrix参考共现矩阵矩阵维度： |V|*|V|V是词汇表，即去重词汇表有一个语料库。row words为targets， columns words 是代表上下文先在语料库中找到所有以row wo
2023-03-31 13:53:06
87
原创 torch学习实践——DAN模型为例
实践要先定义那个模型的结构，在forword中定义好模型结构在init中主要是声明出你的每一层要用什么关于数据的预处理（文本的处理）制作了词汇表，这个词汇表就是terms。词汇表可以用dict，然后记录这个词的index然后对每个样本（句子 ｜ words list）处理，将每个word映射为，在词汇表中的index做一个pad操作，为了处理不同长度的输入句子，我们使用 token将所有句子填充到相同的长度。然后，我们将每个句子转换为索引序列。emdeding 层的作用word2
2023-03-22 17:35:36
305
原创 【Paper阅读】SB routing and scheduling 相关论文
SB routing 需要考虑的三个问题SB routing 必须解决的两个大boss。
2022-10-01 17:21:04
103
原创 Paper《Robust Multimodal Failure Detection for Cloud-Native System》 —— AnoFusion
GTN：学习多模态数据之间的关联性GAT：赋予节点不同权重，以过滤特征，提取重要信息GRU：简化的LSTM
2022-06-12 23:18:29
162
原创 深度学习（吴恩达）第二课——第三周浅层神经网络
向量化实现的解释首先要把几个符号的上下标搞清楚在下面这个前向传播的推导中关键点如下：单样本的推导公式是这个i代表第i个样本，1代表第一层。W的shape是[第1层的神经元个数，和第0层的神经元个数]；b的shape是[第1层的神经元个数，1]；多样本的推导是这个将各个样本按照列向量堆叠1代表第1层隐藏层在多样本中，X的shape是[样本的特征数（输入层的神经元个数）, 样本数]激活函数激活函数的导数梯度下降参数...
2022-03-20 01:18:37
1272
原创 java Http +json 通讯
json的封装以及json的解析 //Map 转 json Map<String,Object> jsonMap = new HashMap<>(); jsonMap.put("username","zhangsan"); jsonMap.put("pwd","123"); String contentString = JSONObject.toJSONString(jsonMap); /
2022-01-12 16:42:43
729
原创 概率论——随机变量及其分布
随机变量离散型随机变量定义分布律常见概率分布名称意义描述概率描述退化分布随机变量只取一个常数值CP(X=c)= 10-1分布随机变量只取两个值0和1P(X=0) = 1-p (p>0)P(X=1) = p 称X服从参数为p的0-1分布二项分布对n重伯努利试验，每次成功概率为p，定义随机变量X描述n次试验中事件A可能发生的次数kP(X=k)=CnkPk(1−p)n−kP(X=k) = C_n^kP^k(1-p)^{n-k}P(X=k)=C
2022-01-05 23:48:09
868
原创 概率论——基础
基本概念样本空间事件随机事件事件的关系互不相容（互斥）差事件逆事件对称差事件的运算B包含A和事件（并）积事件（交）概率定义与基本特性概率的三个原则概率的特性不可能事件概率为0有限可加性可减性不降性概率原则加法原则P(A∪B)=P(A)+P(B)−P(A∩B)P(A \cup B) = P(A) + P(B) - P(A \cap B)P(A∪B)=P(A)+P(B)−P(A∩B)条件概率与乘法原理条件概率定义计算公式P(B∣A)
2022-01-03 22:41:07
1078
原创 flink学习（一）——介绍
其他flink分为流式和批式，流式因为是来一个数据处理一个，所以会保存之前处理的中间结果。但是有可能我并不需要这些结果。所以我完全可以用批式来处理海量数据嘛POJO学习链接条件class必须是独立的（不能是内部类），public的必须要有无参数的构造方法。可以再重载一个带参数的构造方法里面必须要有字段，可以是private，但是必须要有public的getter和setter方法WordCount——流式package flink;import org.apache.flink
2021-11-22 08:35:46
1211
原创 flink 学习（一）——一些基础概念API
元组Tuple学习链接Tuple 是flink 一个很特殊的类型 （元组类型），是一个抽象类，共26个Tuple子类继承Tuple 他们是 Tuple0一直到Tuple25Tuple后的数字，代表每一个元组中可用空间（理解为插槽也行，每个字段对应一个插槽）public class Tuple2<T0, T1> extends Tuple { private static final long serialVersionUID = 1L; /** Field 0 of the
2021-11-22 08:35:36
375
原创 flink 学习（三）——Transform聚合转换算子
keyBy逻辑上将一个流拆分成不相交的分区。相同的key一定会进入到相同的分区中，但是同一个分区中可能会含有不同key的数据数据类型的转化对数据分组主要是为了进行后续的聚合操作，即对同组数据进行聚合分析。keyBy会将一个DataStream转化为一个KeyedStream（KeyedStream继承了DataStream），聚合操作会将KeyedStream转化为DataStream。如果聚合前每个元素数据类型是T，聚合后的数据类型仍为T绝大多数情况，我们要根据事件的某种属性或数据的某个字段进
2021-11-22 08:35:12
1088
原创 flink 学习（二）——数据的读取、转换（基本转换算子）、输出
创建执行环境https://blog.csdn.net/qq_40180229/article/details/106335725#t0数据读取批处理环境中读数据返回的是DataStringSource，这个Source的父类是Dataset，所以，后续的转换、输出操作其实都是基于Dataset的，所以都是调用的Dataset的API而流处理环境中读数据返回的是DataStringSource，这个Source的父类是Dataset，所以，后续的转换、输出操作其实都是基于Dataset的，所以都是调
2021-11-19 15:59:28
1125
原创 隐私政策网址(URL)
隐私政策网址(URL)移动APP应用尊重和保护利用用户的隐私所有的服务。为了向您提供更准确，更人性化的服务，本程序会按照本隐私权政策的规定使用和披露您的个人信息。但是移动APP应用将是一个高度的勤勉，审慎义务对待这些信息。除本隐私政策另有规定外，未经您的许可之前，移动APP应用信息将不会被披露或向第三方提供。移动APP应用更新本隐私政策时。当您同意移动APP应用服务协议，您将被视为已同意本隐私政策的全部内容。本隐私政策属于服务协议移动APP应用不可分割的一部分。1. 适用范围a) 在您注册本程序帐
2021-06-15 16:26:18
1191
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人