xd0dx的博客

原创 超详细域名备案+阿里云服务器配置+小程序开发(简略)+前后端分离（简略）

本文是帮助想要开发小程序的初学者，对于一些前期各项配置工作的解惑和指导。

原创 win 10 笔记本在重启后，输入密码后，只有黑屏（带微光）的解决方法

解决笔记本重启后输入密码会黑屏的问题

原创 修改本地hosts的方法

避免一个很小的坑点，防止即使改了hosts文件仍然无法修改hosts

原创 避免踩坑的Github学生认证申请教程

让有edu邮箱的读者能够快速申请到github学生认证！

原创 python数据处理（正则以及列表生成式）

循环最好改成列表生成式eg1：lens = []for snet in sents: lens.append(len(sent))可替换为：(循环放后面)lens = [len(sent) for sent in sents]eg2：[(x, y) for x in range(1, 4) for y in range(2, 8)]生成：找到含有数字的的文本/找到含有某个词的文本eg1：找到含有 公司 俩个字的文本for sent in sents: if '公

原创 NLP文本摘要NO.4 seq2seq模型部分（超详细维度解析）

在模型类的实现过程中, 为了代码的解耦和结构清晰, 总共需要完成以下几个函数的实现:根据前面的数据处理可以得到：转换为numpy数组的形状如下:train_X的shape为: (82871, 314)train_Y的shape为: (82871, 40)test_X的shape为: (20000, 314)前面保存数据的代码：np.save(train_x_path, train_X)np.save(train_y_path, train_Y)np.save(test_x_path,

原创 NLP文本摘要NO.3 seq2seq数据处理部分

seq2seq实现文本摘要的架构编码器端负责将输入数据进行编码, 得到中间语义张量.解码器端负责一次次的循环解析中间语义张量, 得到最终的结果语句.一般来说, 我们将注意力机制添加在解码器端.对比于英译法任务, 我们再来看文本摘要任务下的seq2seq架构图:编码器端负责进行原始文本的编码.注意力层结合编码张量和解码器端的当前输入, 得到总体上的内容张量.最后在注意力机制的指导下, 解码器端得到完整的单词分布, 解码出当前时间步的单词....

原创 NLP文本摘要NO.2 TextRank算法

借鉴：http://121.199.45.168:8818/2_1/TextRank算法的概念对比于衡量网页重要性的PageRank算法, TextRank算法用于衡量哪些单词是关键词, 类比之下的算法思想也就很好理解了:如果一个单词出现在很多单词的后面, 就是它和很多单词有关联, 那么说明这个单词比较重要.如果一个TextRank值很高的单词后面跟着另一个单词, 那么后面这个单词的TextRank值也会相应的被提高.可看论文加深理解：原始TextRank论文TextRank算法代码实践关键词

原创 NLP文本摘要NO.1

什么是文本摘要任务本质: 文本摘要任务就是利用模型自动完成关键信息的抽取, 文本核心语义的概括, 用一个简短的结果文本来表达和原文本同样的意思, 并传达等效的信息.例如：中学语文课的中心思想概括.新浪体育上的体育新闻短评.今日头条上的每日重要新闻概览.英语考试中的概括某段落信息的选择题.文本摘要的基本方法和思路.从NLP的角度看待文本摘要任务, 主流的涵盖两大方法:抽取式摘要: Extraction-based生成式摘要: Abstraction-based抽取式摘要(Extracti

原创 HuggingFace BERT中文模型实战示例 中文分类

参考：B站蓝斯诺特import torchfrom datasets import load_dataset# 定义数据集class Dataset(torch.utils.data.Dataset): def __init__(self, split): self.dataset = load_dataset(path='seamew/ChnSentiCorp', split=split) def __len__(self): return le

原创 HuggingFace简明教程 transformers pip 遇到的bug

关于安装huggingface：遇到的一些bug：（安装transformers）ERROR: Could not build wheels for tokenizers, which is required to install pyproject.toml-based…注意安装稳定版本：（升级pip）Script file ‘D:\Anaconda3\envs\pytorch\Scripts\pip-script.py’ is not present 解决方法：先检查网络是否正常，有无

原创 Transformer简明教程 P11 定义模型

# 编码器层# 这是一层class EncoderLayer(torch.nn.Module): def __init__(self): super().__init__() # 多头注意力层 self.mh = MultiHead() self.fc = FullyConnectedOutput() def forward(self, x, mask): # 计算自注意力,维度不变 # [

原创 Transformer简明教程 P10 Mask函数

是pad情况为true，不是为falsedef mask_pad(data): # b句话,每句话50个词,这里是还没embed的 # data = [b, 50] # 判断每个词是不是<PAD> mask = data == zidian_x['<PAD>'] # [b, 50] -> [b, 1, 1, 50] mask = mask.reshape(-1, 1, 1, 50) # 在计算注意力时,是计算50个词

原创 Transformer简明教程 P9 注意力与位置编码

# 注意力计算函数def attention(Q, K, V, mask): # b句话,每句话50个词,每个词编码成32维向量,4个头,每个头分到8维向量 # Q,K,V = [b, 4, 50, 8] # [b, 4, 50, 8] * [b, 4, 8, 50] -> [b, 4, 50, 50] # Q,K矩阵相乘,求每个词相对其他所有词的注意力 score = torch.matmul(Q, K.permute(0, 1, 3, 2)) .

原创 Transformer简明教程 P8 定义数据

字典就是拿一个数字代表一个词代码：# 定义字典zidian_x = '<SOS>,<EOS>,<PAD>,0,1,2,3,4,5,6,7,8,9,q,w,e,r,t,y,u,i,o,p,a,s,d,f,g,h,j,k,l,z,x,c,v,b,n,m'zidian_x = {word: i for i, word in enumerate(zidian_x.split(','))}# print(zidian_x)zidian_xr = [k for k,.

原创 Transformer简明教程 P7 实验数据介绍

虚线箭头表示y事由x的最后一位决定的：目的是为了增加映射复杂度，让y数据长度比x数据多一位以方便数据处理数据样例：

原创 Transformer简明教程 P6 transformer完整计算过程

不断给A：整体架构：

原创 Transformer简明教程 P5 Mask

pad这个词对其他的词要计算，而其他词对pad的不用计算；

原创 Transformer简明教程 P4 词向量编码

transformer 的词向量编码 与 RNN 不同，需要加入一个特殊的位置编码假设 即使a = b 但是由于ab位置不同，所以最后的x1与x2 会不同位置编码矩阵元素计算公式：

原创 Transformer简明教程 P3 计算注意力

attention的QKV向量：自注意力计算流程：换成用矩阵计算，（计算机）效率更高/（数学上，矩阵和向量复杂度一样）：单头注意力机制和多头注意力机制：单头注意力机制：即只有一组QKV；多头注意力机制计算过程：有多个Wq，Wk，Wv矩阵得到多个QKV...

原创 Transformer简明教程 P2 总体架构（编码器-解码器）

编码器-解码器 图：

原创 《PyTorch深度学习实践》P13循环神经网络RNN高级篇

分类任务：用名字识别出语言；这里每一个名字实际上是一个序列，(序列长短不一致)例如Maclean，-> M a c l e a n == x1,x2,x3,x4,x5,x6,x7①准备数据用ASCII码来表示;序列长短不一: 用padding对标签Y也做成词典：将来就可以再这个词典里查找对数据（.gz类型）的读取：不同数据类型用不同包去读取！制作键值对表：code： def getConutryDict(self): country_dict

原创 《PyTorch深度学习实践》P12循环神经网络RNN基础篇

全连接层的权重的最多的；RNN模型图：RNNcell里面的维度变化：(如图下)Xt 维度：input_size * 1Wih维度：hidden_size * input_size则Xt * Wih得到 维度 ：hidden_size * 1h t-1 维度： hidden_size * 1Whh维度： hidden_size * hidden_size则h t-1 * Whh 得到 维度： hidden_size * 1再二者相加，调用tanh。本质是一个线性层code：cell

原创 《PyTorch深度学习实践》深度学习方法论

复现不是下载下来跑通就可以！

原创 《PyTorch深度学习实践》P11卷积神经网络高级篇

GoogLeNet：Inception块：1X1 convolution：信息融合（例子，分数之和决定排名），可以降低计算量InceptionA:code:(不可单独运行)class InceptionA(nn.Module): def __init__(self， in_channels): super(InceptionA, self).__init__() self.branch1x1 = nn.Conv2d(in_channels, 16

原创 《PyTorch深度学习实践》P10卷积神经网络基础篇CNN

基本模式：patch：单通道，卷积做数乘：先数乘再加：每一个卷积核通道数量和输入通道数量一样！卷积核总数量和输出通道数量一样！卷积核数量和图片大小没关想得到和原来一样的维度，padding怎么计算加外围多少层：（如图所示）例子：code：在这里import torchinput = [3,4,6,5,7, 2,4,6,8,2, 1,6,7,8,4, 9,7,4,6,2, 3,7,5,4,1]# (1

原创 《PyTorch深度学习实践》P9多分类问题（softmax）

softmax：处理多分类①概率和为1②各个概率都＞=0softmax例子：softmax对应的损失函数：code：import numpy as npy = np.array([1, 0, 0])z = np.array([0.2, 0.1, -0.1])y_pred = np.exp(z) / np.exp(z).sum()loss = (- y * np.log(y_pred)).sum()print(loss)效果图：torch里面有：交叉熵损失，包含了softma

原创 《PyTorch深度学习实践》P8加载数据集

epochbatch-sizeiterationdataloader：shuffle指打乱batch_size = 2 指一次训练选俩个样本code：'''加载数据集'''# epoch 所有的样本都经过了一次正向传播，反向传播（所有样本都经过了一次训练）# Batch—size每次训练的时候所用的样本数量# iteration 指batch一共分多少个import torchimport numpy as npfrom torch.utils.data import Dat

原创 《PyTorch深度学习实践》P7处理多维特征的输入

X与Y表示：x * w （多维情况下）转变为：多个样本，尽量不用循坏（吴恩达）,转为矩阵，便于计算修改模型里面的参数：多层：层数越多，非线性能力增强，但是学习能力不能太好，学到噪声，以至于过拟合，需要把握好泛化能力与过拟合的平衡点。模型里面都用x，而不是用o1,o2,y_pred（惯例）不同的激活函数：code:'''处理多维特征的输入'''import numpy as npimport torchxy = np.loadtxt('diabetes.csv', de

原创 《PyTorch深度学习实践》P6逻辑斯蒂回归

就基本4步：与P5一致，如图下：sigmoid等激活函数作用，变得非线性，不会让多层神经网络变得无意义code：'''逻辑斯蒂回归'''import torch.nn.functional as Fx_data = torch.Tensor([[1.0], [2.0], [3.0]])y_data = torch.Tensor([[0], [0], [1]])class LogisticRegressionModel(torch.nn.Module): def __init__

原创 《PyTorch深度学习实践》P5用pytorch实现线性回归

code:'''用pytorch实现线性回归''''''1,准备数据2,设计模型3,构造损失函数和优化器4,训练周期：前馈，反馈，更新'''import torchx_data = torch.Tensor([[1.0], [2.0], [3.0]]) # 1.0 对应x的第一行y_data = torch.Tensor([[2.0], [4.0], [6.0]])class LinearModel(torch.nn.Module): def __init__(sel..

原创 《PyTorch深度学习实践》P4反向传播

code:import torchx_data = [1.0, 2.0, 3.0]y_data = [2.0, 4.0, 6.0]w = torch.Tensor([1.0])w.requires_grad = True # Ture：需要计算梯度def forward(x): return x * w # 不是做简单乘法，而是在构建计算图def loss(x, y): y_pred = forward(x) return (y_pred - y) ** 2..

原创 《PyTorch深度学习实践》P3梯度下降算法

公式推导：code：import numpy as npimport matplotlib.pyplot as pltx_data = [1.0, 2.0, 3.0]y_data = [2.0, 4.0, 6.0]w = 1.0epoch_list = []cost_list = []def forward(x): return x * wdef cost(xs,ys): cost = 0 for x, y in zip(xs, ys):

原创 《PyTorch深度学习实践》P2线性模型

code：import numpy as npimport matplotlib.pyplot as pltx_data = [1.0, 2.0, 3.0]y_data = [2.0, 4.0, 4.0]# 线性模型 y_pred = x * wdef forward(x): return x * w# 损失函数def loss(x, y): y_pred = forward(x) return (y_pred - y) ** 2w_list = []m.

原创 JAVA初学者相关笔记screenshots⑤

比较两个对象的大小import关键字的使用package关键字的使用继承性

原创 eclipse快捷键

原创 JAVA初学者相关笔记screenshots④

匿名对象使用与小知识整合JAVABeanMVC设计模式封装性构造器属性赋值的先后顺序UML类图this关键字四种访问权限修饰符

原创 JAVA初学者相关笔记screenshots③

二维数组空指针异常情况数组反转Arrays工具类匿名对象，值传递，变量，方法

原创 JAVA初学者相关笔记screenshots②

运算符与优先级面向对象，面向过程理解类对象数组重载

原创 JAVA初学者相关笔记screenshots①

JAVA根据B站尚硅谷目录大概制成。