- 博客(51)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 图深度学习——简单的图嵌入,图嵌入的通用框架和保留不同信息的图嵌入方法：DeepWalk，LINE，Node2vec，Struc2vec，模块度
简单的图嵌入方法，图嵌入的通用框架和保留不同信息的图嵌入方法
2022-07-11 11:25:45
1284
原创 半监督学习 MixMatch：A Holistic Approach to Semi-Supervised Learning（核心代码）
半监督学习 MixMatch：A Holistic Approach to Semi-Supervised Learning（核心代码）
2022-06-07 20:32:51
1465
1
原创 BERT模型：Bidirectional Encoder Representations from Transformer
WhatBERT预训练Transformer的encoder网络，提高准确率How随机遮挡一个或两个单词，让encoder网络根据上下文来预测遮挡单词将两个句子放在一起，判断是否是同一文中的相邻句子。BERT通过以上两个任务来预训练transformer网络中的encoder网络。Task1:Predict Masked Words预测被遮挡的单词流程transformer的encoder网络不是一对一映射，而是多对一。在模型中，输入数据会被随机遮挡15%的单词，当被遮挡的单词进入em
2022-01-23 17:20:59
1451
原创 零基础学习Transformer：multi-head self-attention layer and multi-head attention layer
Multi-Head AttentionMulti-Head Self-Attention单头self-attention layer就是由单一的self-attention构成。多头self-attention是由多个单头self-attention组成，其具有单独的参数矩阵，互相不共享参数。在多头self-attention layer中，单头self-attention的输入都是相同的，但是参数矩阵不相同，因此不同的单头self-attention的输出c矩阵也是不相同的。将多个单头self
2022-01-22 15:11:01
1914
原创 零基础学习Transformer：AttentionLayer and Self-AttentionLayer
Transformer ModelTransformer是一个Seq2Seq模型，有一个encoder和一个decoderTransformer不是RNN，没有循环的结构，只有attention和全连接层（dense layers）实验效果好，优于RNNsAttention for RNNAttention for Seq2Seq Model，where are an encoder and a decoder.输入m个向量，encoder将输入信息压缩到m个状态向量 h1,...,hmh
2022-01-20 16:26:22
2875
原创 堆叠稀疏自编码器SSAE
稀疏自编码器自编码器通过将输入信息作为学习目标，对输入信息进行表征学习。通过稀疏性参数ρ\rhoρ对自编码器隐层节点进行稀疏性约束，则构成稀疏自编码器。一般来说，被激活神经元的比例由一个常数ρ\rhoρ表示。平均激活可以是ρJ^=1N∑i=1Nnj(xi)\hat{\rho_{J}}=\frac{1}{N} \sum_{i=1}^{N} n_{j}\left(x_{i}\right)ρJ^=N1∑i=1Nnj(xi)其中????????N是隐藏神经元的数量。Kullback-Leibler
2022-01-18 22:04:31
7379
4
原创 深度学习：自编码器AutoEncoder
自编码器——AE自编码器是一种利用反向传播算法使得输出值等于输入值的神经网络，借助稀疏编码的思想（将输入压缩成潜在空间表征），使用稀疏的一些高阶特征重新组合来重构输出。自编码器两个部分：输入到隐层编码和隐层到输出解码自编码器作用实现非线性降维，只要设定输出层中神经元个数小于输入层中神经元的个数就可以对数据集进行降维。如果将输出层的神经元个数设置为大于输入层神经元个数，然后在损失函数 构造上加入正则化项进行系数约束，就构成稀疏自编码器。利用自编码器来进行神经网络预训练。对于深层网络，通过随机初始化
2022-01-15 22:40:25
1515
原创 论文阅读-Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting
可解释多水平时间序列预测的时间融合TransformerTemporal Fusion Transformers 时间融合Transformers（TFT），一种基于注意力机制的架构。它将高性能多水平预测（多层面预测）与对时间动态的可解释见解相结合。多水平预测：在多个未来时间步长预测感兴趣的变量。 与提前一步预测相比，多水平预测能在未来多个步骤中优化其行动。（零售商优化整个即将到来的季节的库存，临床医生为患者优化治疗计划等）。模型需要的数据包括关于未来的已知信息（如日期）、其他外生时间序列（如历史流
2022-01-13 21:14:13
2536
1
原创 论文阅读-利用时间序列数据增强来提高全球预测模型的准确性
Improving the Accuracy of Global Forecasting Models using Time Series Data Augmentation全球预测模型（GFM），模型性能超过了许多最先进的单变量预测技术。GFMs使用深度神经网络实现，特别是循环神经网络（RNN），它需要足够数量的时间序列来估计其众多模型参数。然而，许多时间序列数据库只有有限数量的时间序列。该论文提出了一个新颖的、基于数据增强的预测框架，能够在数据不太丰富的情况下提高GFM模型的基准精度。使用了三种
2021-12-24 21:35:23
3796
1
原创 A Comparative Analysis of Deep Learning Approaches for Network Intrusion Detection Systems (N-IDSs)
论文阅读记录数据类型在预定义时间窗口中，按照传输控制协议/互联网协议（TCP/IP）数据包将网络流量数据建模成时间序列数据。数据：KDDCup-99/ NSL-KDD/ UNSW-NB15 NIDS数据集使用方法监督深度学习方法：循环神经网络（RNN）、身份循环神经网络（IRNN）、长短时记忆网络（LSTM）、带时钟频率的循环神经网络（CWRNN）和门控制循环单元（GRU）主要关注的是评估RNN比新引入的方法如LSTM和IRNN的性能，以缓解记忆长期依赖关系时的消失和爆炸梯度问题。通过改变0.01
2021-12-21 17:32:57
2540
原创 pandas核心数据结构Series/DataFrame/Panel
SeriesSeries是一维带标签的数组，数组里可以放任意的数据（整数、浮点数、字符串、python对象）。创建函数s = pd.Series(data, index = index)其中，index是一个列表，用来作为数据的标签。data可以是不同的数据类型，可以是python字典类，可以是ndarray对象，还可以是一个标量（当data是标量的时候，直接用广播原理来扩展而不是复制）创建Series对象在ndarray中创建series对象s = pd.Series(np.random.ra
2021-04-26 09:58:28
1201
原创 利用pandas对MovieLens电影数据分析
掌握pandas基本语法操作「pandas基础入门中有详细语法格式」后，就可以利用pandas做一些简单实例的数据处理。
2021-04-21 21:07:44
3735
2
原创 D3-python编写深度学习框架
import randomfrom collections import defaultdictimport numpy as npclass Node: def __init__(self, inputs=[]): self.inputs = inputs self.outputs = [] for n in self.inputs: n.outputs.append(self) # se
2021-02-06 14:37:41
296
1
原创 D2-多层神经网络的原理/神经网络自动求导的原理
以波士顿房价数据集作为例子from sklearn.datasets import load_bostondata = load_boston()dir(data)#查看数据集标签print(data.DESCR)#查看每个数据标签的描述X, y = data['data'], data['target']#建立数据映射关系len(X), len(y)#数据集长度import matplotlib.pyplot as plt%matplotlib inlinedef draw_rm
2021-02-03 22:55:15
384
原创 D1-从零理解神经网络
# Loda Data & Data Analysisfrom sklearn.datasets import load_bostondataset = load_boston()# load the datasetdir(dataset)# show the form of the datasetdataset['feature_names']# show the tag of the dataset# we can see the introdcution about these
2021-02-03 22:22:25
207
原创 023 pandas基础入门操作
创建pandas对象使用series来创建pandas对象，实际是创建了一列元素np.NaN表示不是一个数字。import pandas as pdimport numpy as nps = pd.Series([1,3,5,np.NaN,8,4])s运行结果：0 1.01 3.02 5.03 NaN4 8.05 4.0dtype: float64随机创建以时间为数据元素的数列dates = pd.date_range('20200924'
2020-10-09 20:10:07
400
1
原创 022 pandas数据分析基础知识
Pandas什么是PandasPandas是python中分析结构化数据的工具集。其基础是numpy——高性能矩阵运算；图形库matplotlib——提供数据可视化。Pandas能做什么pandas可以进行结构化数据分析，比如进行数据挖掘。Ipython开发环境搭建https://www.python.org/downloads/ (https://www.python.org/downloads/)首先需要下载python的安装包，安装python（3.x版本都可以）接着在http:/
2020-09-09 23:48:04
221
原创 021 Python异常处理try...except...else...finally结构
异常在实际工作中，软件程序运行时，常常会遇到很多问题，，称之为异常（Exception）。例如，当我们要拷贝一个文件时，如果没有异常处理机制，我们需要考虑各种各样的异常情况。伪代码：if "d:/a.txt"这个文件存在： if e盘的空间大于a.txt文件长度： if 文件赋值一半IO流断掉： 停止copy，输出：IO流出问题 else： copyFile("d:/a.txt","e:/a.txt")#核心代码else:这种方式，有两个坏处：1.逻辑代码和错误处理代码放一
2020-08-27 23:17:32
1188
原创 020机器学习数据科学包-numpy基本操作1
NumpyNumPy（Numerical Python）是Python的一种开源的数值计算扩展。这种工具可用来存储和处理大型矩阵，比Python自身的嵌套列表（nested list structure)结构要高效的多（该结构也可以用来表示矩阵（matrix）），支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。numpy是一个用python实现的科学计算，包括：1、一个强大的N维数组对象Array；2、比较成熟的（广播）函数库；3、用于整合C/C++和Fortran代码的工具
2020-08-22 22:33:05
218
原创 019 python数据结构与算法：树与树的算法
树与树的算法树的概念树（tree）是一种抽象数据类型（ADT）或是视作这种抽象数据类型的数据结构，用来模拟具有树状结构性质的数据集合。它是由n（n>=1）个有限的节点组成的一个具有层次关系的集合。它具有以下特点：每个节点有零个或多个节点；没有父节点的节点称为根节点；每一个非根节点有且仅有一个父节点；除了根节点外，每个子节点可以分为多个不相交的子树。...
2020-08-15 22:53:37
145
原创 018 python数据结构与算法：归并排序/二分查找
排序归并排序归并排序是分治法的典型应用。归并排序的思想就是先递归分解数组，再合并数组。将数组分解最小之后，然后合并两个有序数组，基本思路就是比较两个数组的最前面的数，谁更小就先取谁，取了后相应的指针就往后移动一位，直至其中一个数组为空，最后把另外一个数组的剩余部分复制到新数组的后面。那么当序列的元素个数为奇数时，就有一组数组的元素会多一个。这样当其他数组都拆分为一个元素时，这个数组还需要再进行一次元素的拆分。归并排序的分析归并排序首先是不断从中间位置进行拆分切片的过程：接着对拆分成个的元素进行
2020-08-04 22:24:55
278
原创 017 python数据结构与算法：希尔排序/快速排序
排序算法希尔排序希尔排序（Shell Sort）是插入排序的一种。也称缩小增量排序，是直接插入排序算法的一种更高效的改进版本。希尔排序是非稳定排序算法。希尔排序是把记录按下标的一定增量分组，对每组使用直接插入排序算法排序；随着增量逐渐减少，魅族包含的关键词越来越多，当增量减至1时，整个文件恰好被分成一组，算法便终止。希尔排序过程希尔排序的基本思想是 ：将数组列在一个表中并对列分别进行插入排序，重复这个过程，不过每次用更长的列（步长更长了，列书更少了）来进行。最后整个表就只有一列。通过这样的步骤就可以
2020-07-28 17:16:42
180
原创 016 机器学习数学基础：概论
什么是机器学习Tom Micheal Mitchell给出的定义是：对于某给定的任务T，在合理的性能度量方案P的前提下，某计算机程序可以自主学习任务T的经验E；随着提供合适、优质、大量的经验E，该程序对于任务T的性能逐步提高。即，随着任务的不断执行，精灵的累积会带来计算机性能上的提升。其中，机器学习的对象有：一个或多个任务Task(T),经验Experience（E）以及性能Performance（P）换个说法就是，机器学习是人工智能的分支。我们使用计算机设计i个系统，使它能够根据提供的训练数据按照一
2020-07-23 21:57:35
282
1
原创 015 python数据结构与算法：冒泡/选择排序
排序与搜索排序算法（Sorting algorithm）是一种能将一串数据依照特定顺序进行排列的一种算法。排序算法的稳定性**稳定性：**稳定排序算法会让原本有相等键值的记录维持相对次序。也就是说如果一个排序算法是稳定的，当有两个相等键值的记录R和S，且原本的列表中R出现在S之前，在排序过的列表中R也将会是在S之前。当相等的元素是无法分解的，比如像是整数，稳定性并不是一个问题。然而，假设以下的数对将要以他们的第一个数字来排序。（4，1）（3，1）（3，7）（5，6）在这个状况下，有可能产生两种
2020-07-15 00:42:33
91
原创 014 python数据结构与算法：栈与队列
栈栈（stack），又叫做堆栈，是一种容器，可存入数据元素、访问元素、删除元素，它的特点在于只能允许在容器的一端（称为栈顶指标，top）进行加入数据（push）和输出数据（pop）的运算。没有了位置概念，保证任何时候可以访问、删除的元素都是此前最后存入的元素，确定了一种默认的访问顺序。由于栈数据结构只允许在一端进行操作，因而按照后进先出（LIFO，last in first out）的原理运行。栈结构实现线性表中的任何数据结构都可以实现栈。之前学的链表和顺序表都是线性表。这里我们可以发现，顺序表
2020-07-13 23:10:28
152
原创 013 python数据结构与算法：双向链表
链表单链表，所有节点指针都指向他们的后继节点。后继节点：当前节点的下一个节点前驱节点：当前节点的前一个节点需要注意的是：链表中出现的next仅仅表示“下一个”，和生成器里的next是不一样的。双向链表一种更复杂的链表是“双向链表”或“双面链表”。每个节点有两个链接：一个指向前前一个节点，当此节点为第一个节点时，指向空值；而另一个指向下一个节点，当此节点为最后一个节点时，指向空值。...
2020-07-02 23:57:17
231
1
原创 012 python数据结构与算法：链表
链表为什么需要链表顺序表的构建需要预先知道数据大小来申请连续的存储空间，而在进行扩充时有需要进行数据的搬迁，所以使用起来并不是很灵活。链表结构可以充分的利用计算机内存空间，实现灵活的内存动态管理。链表的定义链表（Linked list）是一种常见的基础数据结构，是一种线性表，但是不像顺序表一样连续存储数据，而是在每一个节点（数据存储单元）里 存放下一个节点的位置信息（地址）。和顺序表相比，顺序表存储空间必须连续，但如果有动态存储的需求时，顺序表就不太适用。在顺序表中元素外置就是用一种联系来链接
2020-06-28 23:00:35
721
texstudio-3.0.0-osx.dmg
2020-08-26
RStudio131073.dmg
2020-08-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人