ZcsLv_zyq的博客

原创 （一）从rnn attention 到 attention withouot rnn 再到transformer

由c的公式可知，每个step的输出c不仅与当前step的输入x有关，更与encoder所有的step的k、v有关，因此它能用到encoder所有的信息。1）得到QKV，去掉rnn之后，直接用输入的词向量去得到KV，与之前的相比，不同的是用词向量去代替RNN的每一个step得到的隐状态h。与attentionlayer不同的是，它输入序列只有一个X，但每一个输出的c与所有的输入x有关，而不是当前step的x。2）K与decoder的当前step的状态s进行softmax操作，得到权重矩阵A。...

原创 git快速使用教程

git快速使用教程

原创 transformer:从公式、图片具体理解

3、multi-head self-attention\attentionsingle self-attentionmulti-head self attention本质上就是多个single self-attettnion的堆叠，每个都享有不同的权重，最后再及进行concatmulti-head attention4. 堆积多头注意力变成transformerencoder ，用到了stacked self-attentions每个block层的

原创 Attention、self-attention：从计算、公式的角度详解

参考：这个视频量短而精https://www.youtube.com/watch?v=XhWdv7ghmQQGitHub - wangshusen/DeepLearning以机器翻译、rnn-seq2se2引入attention为例1.attention最早提出attention的是15年的这篇论文在encoder结束之后，output一个全局的s0,这包含了h1...hm的所有信息，同时s0也作为decoder的input。用权重apha表示s和h的相关性，..

原创 Pytorch之张量维度及不同维度的操作

参考：pytorch 矩阵维度 - 搜索结果 - 知乎Pytorch 中的 dim操作介绍 - 大数据 - 亿速云1.如何理解dim?pytorch的dim和numpy的axis很类似 不同dim的数据长什么样?维度为0, 0维张量也叫标量 1 维度为1, 0维张量也叫矢量 [1,2] 维度为2, 0维张量也叫

原创 nn.RNN的参数理解

pytorch lstm input_size, hidden_size说明_蓝羽飞鸟的博客-CSDN博客_input_size可视化：pytorch lstm input_size, hidden_size说明_蓝羽飞鸟的博客-CSDN博客_input_sizepytorch中nn.Embedding和nn.LSTM和nn.Linear - 代码先锋网

原创 pytorch之expand repeat

1. expandtensor.expand(*sizes)1expand函数用于将张量中单数维的数据扩展到指定的size。首先解释下什么叫单数维（singleton dimensions），张量在某个维度上的size为1，则称为单数维。比如zeros(2,3,4)不存在单数维，而zeros(2,1,4)在第二个维度（即维度1）上为单数维。expand函数仅仅能作用于这些单数维的维度上。参数*sizes用于逐个指定各个维度扩展后的大小（也可以理解为拓展的次数），对于不需要或者无法（即非单数维）

原创 pytorch之cat（）

在给定维度上对输入的张量序列seq进行连接操作>>> x = torch.randn(2, 3)>>> x 0.5983 -0.0341 2.4918 1.5981 -0.5265 -0.8735[torch.FloatTensor of size 2x3]#0表示按列，1表示按行>>> torch.cat((x, x, x), 0) 0.5983 -0.0341 2.4918 1.5981 -0.5265 -0.873.

原创 Pytorch之view()方法

原创 【论文阅读】01 bilstm_crf

原创 bilstm_crf中crf

首先如果我们想像一下，如果没有加crf,billstm能不能做序列标注，也可以。它其实就是转化为了一个多分类问题，但是加入了crf时，就加入了一个约束，效果会更准确。至于这个约束到底是什么？后文会提到。围绕这两个问题来进行效果为什么会更好？ loss函数如何计算的？ 线性crf又是什么？ 问题1 看CRF的作用以单词“中国”为例，它的真实标注应该是“B I",中国=“B I"，但是经过lstm之后，选用得分最高对应的标签，得到的是”BB",这是通过得分...

原创 CRF_demo+实现

crf和hmm model相同 training不同

原创 【encoder-decoder】

为什么要设计它？ 其实它只是一个框架，类似于房子的地基，需要在上面填东西。初衷是为了解决输入输出序列长度不一致的问题？ 为什么它可以把任意长度的序列去转换成固定长度的序列？ 与填充这个框架所用的模型有关，例如cnn、rnn、seq2seq rnn：rnn能处理任意长度的时序信息。我的理解是，因为它的隐藏层是可以固定的，所以它的长度是固定的，所以可以转化为固定的长度。 cnn: seq2seq：Seq2Seq 是指输入和输出都是序列的模型的统称。 1 基于rnn、seq2s

原创 inception network（bottlle neck)

same填充？​​​​​​同样的输入，达到了同样的输出。但第二种方法是通过用一个1*1的卷积核去实现降维，得到的中中间这一块也叫做（bottle neck)一方便减少了计算成本；另一方面，它可以不用和第一种方法一样去考虑用多大的卷积核，是否用池化层等。这就是inception的基本模块。...

原创 resnet—吴恩达

从第l层到第l+2层，传统的深度学习经过的主路径。但在resnet是，直接从l层到l+2层添加了一个short cut-快捷路径（有时也可以叫skip connection 跳跃连接），是添加线性层之后、relu层之前。...

原创 【机器学习】吴恩达-ch08-神经网络表示（neural networks represation)

1 非线性假设 当特征数量n过大时，简单的线性回归或者逻辑回归则无法很好的处理该问题。比如建立一个区分汽车的分类器。2 神经元与大脑本质就是模拟人类大脑处理数据，神经网络可认为是一种算法。你可以把任何传感器接入大脑中，大脑的学习算法会找出学习处理数据的方法。3 模型神经元模拟成一个神经单元...

原创 3维卷积—吴恩达

链接：(强推)2021吴恩达深度学习-卷积神经网络_哔哩哔哩_bilibili最后一个3表示：过滤器的层数把3*3*3的卷积核看成一个立方体，共有27个数字，然后把它放在左上角，分别会对应到红色、绿色、蓝色的9个数字，这27个数字分别相乘，最后相加，得到一个数字下一步，移动立方体...

原创 常见的cnn架构—吴恩达

附上视频链接：(强推)2021吴恩达深度学习-卷积神经网络_哔哩哔哩_bilibili​​​​​​LeNet-5 AlexNet VGGNetAlexNet

原创 【机器学习】吴恩达-ch07-过拟合-正则化

1 过拟合问题线性回归逻辑回归拟合不足：预测能力不足适度拟合：过度拟合：泛化能力差，出现过度拟合的主要原因是特征变量太多。如何解决1）减少特征变量的个数：人工的排除一些特征变量 使用模型自动选择算法2）正则化Keep all the features, but reduce the magnitude of parametersθjRegularization works well when we have a lot of slightly usefu..

原创 机器学习-ch04

1、小技巧：绘制J与迭代次数的曲线，判断函数是否在正确的运行，J有没有随迭代次数减少，如果没有，则减小aph2、如何选择合适的学习率aph，绘制J与aph的变化曲线正规方程优缺点n如果是万数级别，则尽量选择梯度下降法...

原创 python学习__基础部分(毕设用的）

python字典一个key对应多个value实现python的字典是一个key对应一个value，如果想要一个key对应多个value，那么可以用collections模块的defaultdict来实现：python的字典是一个key对应一个value，如果想要一个key对应多个value，那么可以用collections模块的defaultdict来实现：from collections import defaultdictd = defaultdict(list)d['one'].ap

原创 python学习（一）语法__更新

print打印字符串方式：https://www.jb51.net/article/130867.htm

原创 Python笔记—函数式编程

函数的参数Python的函数定义非常简单，但灵活度却非常大。除了正常定义的必选参数外，还可以使用默认参数、可变参数和关键字参数，使得函数定义出来的接口，不但能处理复杂的参数，还可以简化调用者的代码。可变参数定义可变参数和定义一个list或tuple参数相比，仅仅在参数前面加了一个*号。在函数内部，参数numbers接收到的是一个tuple，因此，函数代码完全不变。但是，调用该函数时，可以传入任意个参数，包括0个参数：def calc(*numbers): sum = 0 f..

原创 报错记录：EditText获取文本内容为null

https://blog.csdn.net/weixin_40438421/article/details/104137738?ops_request_misc=%25257B%252522request%25255Fid%252522%25253A%252522160914317316780277011918%252522%25252C%252522scm%252522%25253A%25252220140713.130102334.pc%25255Fall.%252522%25257D&requ

原创 Android Studio里Gradle Sync同步慢的终极解决办法

因为在网上接了个单的原因，又重新准备写一个App，然后就遇到好多问题。1）第一次下的版本太高，20版的，之前下过，这是更新了，然后就开始各种报bug,我实在解决不了，就卸载重新下了个19版的。2）然后又开始遇到新的问题。比如这个：Android Studio里Gradle Sync同步慢问题的解决方法这是其中一种办法，另一种是直接下好，使用本地的gradle，参考这个：https://blog.csdn.net/u010194538/article/details/106011177?utm_m

原创 tuple list dict和set的记录符号极其区别

分辨tuple，list，dict和set： tuple是用 () 来表示的，比如（1,2,3），它是不可变的，但如果里面有list，list是可变的，适合平常存放数据； list是用 [] 来表示的，比如['c','b'.'a']，它是一个有序集合，可以添加删除元素，适合平常的增删改查使用； dict是用 {} 来表示的，比如{'b': 12, 'a' : 23}，它是key-value组合，特性与list类似，但它查找速度快，占用内存高，key必须是不可变的，适合用来快...

原创 python入门学习笔记之高级特性——廖雪峰

切片对list[ ]和tuple()可以切片，例L = ['Michael', 'Sarah', 'Tracy', 'Bob', 'Jack']取前m-k个元素：>>> L[m-1:k] 当取前三个时，L[：3]或L[:3];L[0:3]表示，从索引0开始取，直到索引3为止，但不包括索引3['Michael', 'Sarah', 'Tracy']取倒数几个元素：>>> L[-2:]['Bob', 'Jack']>>&gt.

原创 平衡二叉树如何旋转问题（看图）

一直没太弄明白这个到底是怎么旋转的，我是希望自己脑海中可以想象到画面，这样做题就能快些，所以上网找了些资料，不涉及代码。从这篇文章中受到了启发，终于弄明白了。https://www.jianshu.com/p/d802766551ff单旋转很容易，LR双旋转第一步的结果是：将下面两个数字交换；第二步的结果是：与单旋转相似，可以把它想象成三个并排的数字，中间的数字拱上去。...

原创 word文档打勾的几种做法（好用）

https://www.kafan.cn/A/end6x2x632.html

原创 word设置页眉页码 首页没有页眉（终于搞懂了）

1.设置首页没有页眉主要是通过分节符完成的，顾名思义，分节符就是将全文分为两节，然后就可以实现对两节内容的分别设置。比如首页没有页眉。在首页的最后一行插入分节符，然后就会显示出（分节符（下一页）————————————————————）操作步骤如下：分隔符-->下一页(现在就已经分为两节了)然后可以在第二节插入页眉，不要选择链接到上一节，这样在设置第二节时第一节就不会受影响了。把这个取消。2.第一页不设置页码同样的道理，在第一页插入分节符。3.设..

原创 android stdio 报错Caused by: java.lang.ClassNotFoundException: Didn't find class "android.view.View$On

唉 终于找到问题的解决文法了 看了好多博客 反正现在只知道是版本的问题 其他为什么其实还是不懂 下面直接贴图吧 Caused by: java.lang.ClassNotFoundException: Didn't find class "android.view.View$OnUnhandledKeyEventListener" on path: DexPathList[[zip...

原创 传输层

原创 安卓ImageView报错问题

10-18 01:37:23.955 17856-17856/com.example.sj E/AndroidRuntime: FATAL EXCEPTION: main java.lang.RuntimeException: Unable to start activity ComponentInfo{com.example.sj/com.example.sj.MainActivity...

原创 防火墙技术与网络攻击

防火墙技术与网络攻击（★★★）【考法分析】本知识点的考查形式主要有：对于防火墙技术的描述判断正误；给定一些描述判断所属的网络攻击分类或具体的网络攻击方式（主要有拒绝服务、流量分析、重放等）。【要点分析】1、网络攻击分类如下图所示：2、常见的攻击行为（1）拒绝服务：攻击者利用众多傀儡主机向服务器发送服务请求，导致服务器资源被耗尽，无法提供正常的服务，向其他访问者发送拒绝服...

原创 设计模式

总共分为三大类，创建型、结构型和行为型。创建型和对象的建立有关，结构型用于处理类和对象的组合，行为型描述类与对象怎样交互和怎样分配职责。桥接：将对象的抽象和其实现分离，从而独立地改变它们。组合：结构型对象模式的一个实例外观：如何用单个对象表示整个子系统。为子系统中的一组接口提供一个一致的界面。单例：保证一个类只产生唯一的一个实例。适配器：将一个类或对象的接口转换为客户...

原创 计算机基本工作原理

1.三总线结构的计算机总线系统右数据、地址、控制总线组成。因为总线上传输的信息类型分为数据、地址和控制。2.计算机的CPU对以下访问速度依次降低：通用寄存器、Cache、内存、外存。它们共同组成分级存储体系来解决存储容量、成本和速度之家的矛盾。3.指令和数据都是存储在内存中，CPU在执行过程中根据指令周期的不同阶段来区分是指令还是数据。取值周期取出的是指令，执行周期取出的是数据。...

原创 网络安全

网络安全包含了网络信息的可用性、保密性、完整性和网络通信对象的真实性。数字签名：功能：用发送方的私钥加密，接受方用发送方的公钥验证是都来自该发送方，体现了对真实性的保护。...

原创 网络协议

原创 网络互连设备

中继器：是物理层设备。其作用是对接收的信号进行再生放大，一延长传输的距离。网桥：数据链路层设备。可以识别MAC地址，进行帧转发。交换机：数据链路层设备。由硬件构成的多端口网桥路由器：网络层设备，可以识别IP地址，进行数据包的转发。...

原创 结构化分析和设计

总体描述：是软件工程中出现最早的而开发方法，特别适合于数据处理领域的问题，但是不适合于解决大规模、特别复杂的项目1.软件设计时需要遵守的原则：低耦合、高内聚。以此提高模块的独立性。2数据流图： 1.分层的数据流图是结构化分析方法的重要组成部分，描述数据在系统中如何被传送或变换，用于功能建模。 2.对每个基本加工，需要有一个加工规则说明，但不需要描述实现加工的具体流程。可...