![](https://img-blog.csdnimg.cn/20210704101517987.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
神经网络与深度学习
文章平均质量分 76
深度学习
AIHUBEI
⏭逐梦江城、饮武当茶、恋鄂北家⏮
展开
-
recurrent_neural_network
Pytorch打卡第七天,实现recurrent_neural_network.原创 2023-11-26 21:25:07 · 47 阅读 · 0 评论 -
基于WSL2+Docker+VScode搭建机器学习(深度学习)开发环境
基于WSL2+Docker+VScode搭建机器学习(深度学习)开发环境。原创 2023-11-25 21:05:14 · 2079 阅读 · 5 评论 -
deep_residual_network
Pytorch打卡第六天, 实现Deep_Residual_Network原创 2023-11-24 19:17:44 · 43 阅读 · 0 评论 -
convolutional_neural_network
Pytorch打卡第五天,实现卷积神经网络原创 2023-11-23 21:25:45 · 81 阅读 · 0 评论 -
feedforward_neural_network
Pytorch打卡第四天,实现Feedforward_neural_network原创 2023-11-23 12:25:21 · 75 阅读 · 0 评论 -
Logistic_regression
Pytorch打卡第三天, 实现逻辑回归原创 2023-11-22 15:26:49 · 62 阅读 · 0 评论 -
神经网络漫谈(一):科普篇
本文简要介绍了神经网络训练学习的基本过程,并以图像分类为例,介绍了模型权重更新,模型推理的基本流程。作为神经网络漫谈系列的第一章。原创 2023-01-06 22:35:53 · 1336 阅读 · 4 评论 -
深度卷积神经网络(NiN)--Pytorch实现
网络中的网络(NiN)(10月14号(组内)–d2l)深度卷积神经网络(NiN)LeNet、AlexNet 和 VGG 都有一个共同的设计模式:通过一系列的卷积层与汇聚层来提取空间结构特征;然后通过全连接层对特征的表征进行处理。AlexNet 和 VGG 对 LeNet 的改进主要在于如何扩大和加深这两个模块。或者,可以想象在这个过程的早期使用全连接层。然而,如果使用稠密层了,可能会完全放弃表征的空间结构。网络中的网络 (NiN) 提供了一个非常简单的解决方案:在每个像素的通道上分别使用多层感知原创 2021-10-14 16:31:33 · 873 阅读 · 1 评论 -
深度卷积神经网络(AlexNet)--Tensorflow实现
(9月27号(组内)–d2l)深度卷积神经网络(AlexNet)????sec_alexnet在LeNet提出后,卷积神经网络在计算机视觉和机器学习领域中很有名气。但卷积神经网络并没有主导这些领域。这是因为虽然 LeNet 在小数据集上取得了很好的效果,但是在更大、更真实的数据集上训练卷积神经网络的性能和可行性还有待研究。事实上,在上世纪90年代初到2012年之间的大部分时间里,神经网络往往被其他机器学习方法超越,如支持向量机(support vector machines)。在计算机视觉中,直接将神原创 2021-09-27 22:09:52 · 977 阅读 · 0 评论 -
深度卷积神经网络(AlexNet)--Pytorch实现
(9月27号(组内)–d2l)深度卷积神经网络(AlexNet)????sec_alexnet在LeNet提出后,卷积神经网络在计算机视觉和机器学习领域中很有名气。但卷积神经网络并没有主导这些领域。这是因为虽然 LeNet 在小数据集上取得了很好的效果,但是在更大、更真实的数据集上训练卷积神经网络的性能和可行性还有待研究。事实上,在上世纪90年代初到2012年之间的大部分时间里,神经网络往往被其他机器学习方法超越,如支持向量机(support vector machines)。在计算机视觉中,直接将神原创 2021-09-27 21:49:41 · 774 阅读 · 0 评论 -
利用转置卷积与WGAN提升图像数据生成的质量
通过使用卷积与Wasserstein GAN提升生成图像的质量本文将实现deep convolutional Gan(DCGAN),同时也将实现Wasserstein GAN(WGAN)。本文使用到的一些技术:转置卷积Transposed convolution批量归一化Batch NormalizationWGANGradient penaltyfrom IPython.display import Image%matplotlib inline转置卷积虽然卷积运原创 2021-07-27 22:40:38 · 935 阅读 · 0 评论 -
利用Tensorflow构建生成对抗网络GAN以生成数据
使用生成对抗网络(GAN)生成数据本文主要内容介绍了自动编码器的基本原理比较了生成模型与自动编码器的区别描述了GAN模型的网络结构分析了GAN模型的目标核函数以及训练过程介绍了利用Google Colab进行模型训练的基本步骤设计并实现了简单的GAN网络,进行了网络训练以及模型评估from IPython.display import Image%matplotlib inline生成对抗网络的简单介绍首先从自动编码器开始–autoencodersIma原创 2021-07-26 18:21:02 · 2252 阅读 · 1 评论 -
对RNN用于Seq2Seq任务以及注意力机制的理解
from IPython.display import Image%matplotlib inline6.5使用Tensorflow构建字符级别(character-level) 语言模型在我们现在将要构建的模型中,输入是一个文本文档,我们的目标是开发一个能够生成与输入文档样式相似的新文本的模型。这种输入的例子是使用特定编程语言的书籍或计算机程序。在字符级语言建模中,输入被分解为一系列字符,这些字符一次一个字符地输入我们的网络。该网络将结合先前看到的字符的记忆来处``理每个新字符,以预测下一个字符。原创 2021-07-11 22:43:12 · 483 阅读 · 1 评论 -
利用Tensorflow构建RNN并对序列数据进行建模
利用Tensorflow构建RNN并对序列数据进行建模对文本处理处理任务的方法中,一般将TF-IDF向量作为特征输入。显然的缺陷是:这种方法丢失了输入的文本序列中每个单词的顺序。对一般的前馈神经网络,比如CNN,通常接受一个定长的向量作为输入。CNN对文本数据建模的时候,输入变长的字符串或者单词串,然后通过滑动窗口加上池化的方式将原先的输入转换成为一个固定长度的向量表示,这样做可以捕捉到原始文本中的一些局部特征,但是对于两个单词之间的依赖关系则很难被捕获学习到。循环神经网络RNN能很好地处理文本数原创 2021-07-10 19:54:18 · 1034 阅读 · 0 评论 -
利用Tensorflow2构建CNN并用于图像分类
利用Tensorflow2构建CNN并用于图像分类本文将使用自下而上的方法,从讨论CNN的基本板块构建开始。然后将深入研究CNN的体系结构,并探索如何在TensorFlow中实现CNN。本文包含以下内容:一维和二维的卷积运算卷积神经网络结构的构建使用Tensorflow构建深度卷积神经网络利用数据扩充技术提高模型泛化性能实现一个基于人脸图像的CNN分类器来预测个人性别from IPython.display import Image%matplotlib inline原创 2021-06-17 20:53:19 · 2695 阅读 · 2 评论 -
使用TensorFlow 构建更深层次的神经网络
1使用TensorFlow 构建更深层次的神经网络from IPython.display import Image%matplotlib inline1.1Tensorflow的核心特征Tensorflow的核心为计算图。版本1中的静态计算图具有一些优点,如后台图形优化和支持更加广泛的硬件设备。然而,静态计算图需要单独的图形声明和图形计算步骤,这使得用户在交互式开发和使用NN的时候比较麻烦。Tensorflow2支持了动态计算图。动态计算图允许图形声明和图形计算步骤的交叉。如此对于Pytho原创 2021-06-13 20:35:15 · 872 阅读 · 4 评论 -
使用TensorFlow从头构建神经网络
1.使用TensorFlow并行化训练神经网络from IPython.display import Image%matplotlib inline1.1TensorFlow框架与模型训练性能TensorFlow可以显著加快机器学习任务流程,了解其原理之前,不妨先明确在硬件设备上执行复杂的计算所遭遇的一些性能挑战。1.1.1性能问题前面实现了一个MLP,只包含有100的神经元的隐藏层。但需要优化的参数大约为784⋅100+10784\cdot100+10784⋅100+10+100⋅10+10原创 2021-05-26 00:34:51 · 794 阅读 · 0 评论 -
从头开始实现多层人工神经网络
从头开始实现多层人工神经网络from IPython.display import Image%matplotlib inline1.使用人工神经网络建模复杂函数神经网络中的Epoch、Iteration、Batchsize神经网络中epoch与iteration是不相等的batchsize:中文翻译为批大小(批尺寸)。在深度学习中,一般采用SGD训练,即每次训练在训练集中取batchsize个样本训练;iteration:中文翻译为迭代,1个iteration等于使用batchsi原创 2021-05-23 21:45:30 · 1226 阅读 · 13 评论 -
nltk.download(‘stopwords‘)报错,解决方案
nltk.download(‘stopwords’)报错,解决方案如下#报错信息如下[nltk_data] Error loading stopwords: <urlopen error [Errno 11004][nltk_data] getaddrinfo failed>False1.解决方案手动下载数据,并放在指定位置下载地址:https://files-cdn.cnblogs.com/files/douzujun/stopwords.zip下载解压之后放在哪里原创 2020-08-12 00:04:32 · 9847 阅读 · 6 评论 -
python机器学习ch02
last madified by xiaoyao个人主页Python 机器学习Chapter 2 - Training Machine Learning Algorithms for Classification训练机器学习算法从而实现分类Note that the optional watermark extension is a small IPython notebook plugin that I developed to make the code reproducible. You c原创 2020-08-10 00:07:06 · 667 阅读 · 0 评论 -
多层感知机、常见激活函数
3.8 多层感知机xiaoyao 动手学深度学习 tensorflow2前面学习了线性回归和softmax回归在内的单层神经网络。然而深度学习主要关注多层模型。在本节中,将学习多层感知机(multilayer perceptron,MLP)。3.8.1 隐藏层多层感知机在单层神经网络的基础上引入了一个或多个隐藏层(hidden layer).隐藏层位于输入层和输出层之间。如下图所示:上图所示的多层感知机中,输入和输出个数分别为4和3,中间的隐藏层中包含了5个隐藏单元(hidden unit)原创 2020-06-17 22:41:10 · 3884 阅读 · 0 评论 -
tensorflow2简洁实现softmax回归
softmax回归简洁实现xiaoyao 动手学深度学习 tensorflow 2import tensorflow as tffrom tensorflow import kerasprint(tf.__version__)2.1.01 .获取和读取数据使用Fashion-MNIST数据集和上一节中设置的批量大小。fashion_mnist = keras.datasets.fashion_mnist(x_train, y_train), (x_test, y_test) = fa原创 2020-06-17 21:53:27 · 737 阅读 · 0 评论 -
tensorflow2.1从零开始实现softmax回归
softmax回归的从零开始实现xiaoyao 动手学深度学习 tensorflow2.1.0这一节我们来动手实现softmax回归。首先导入本节实现所需的包或模块。import tensorflow as tfimport numpy as npimport sysprint(tf.__version__)2.1.0获取和读取数据使用Fashion-MNIST数据集,并设置批量大小为256。from tensorflow.keras.datasets import fashion原创 2020-06-15 23:42:53 · 542 阅读 · 0 评论 -
图像分类数据集(Fashion-MNIST)tensorflow2.1
图像分类数据集(Fashion-MNIST)xiaoyao 动手学深度学习 tensorflow2.1.0在介绍softmax回归的实现前先引入一个多类图像分类数据集。它将在后面的章节中被多次使用,以方便我们观察比较算法之间在模型精度和计算效率上的区别。图像分类数据集中最常用的是手写数字识别数据集MNIST [1]。但大部分模型在MNIST上的分类精度都超过了95%。为了更直观地观察算法之间的差异,我们将使用一个图像内容更加复杂的数据集Fashion-MNIST [2]。获取数据集首先导入需要的包原创 2020-06-15 23:00:51 · 878 阅读 · 0 评论 -
softmax回归softmax-regression
3.4 softmax回归线性回归模型适用于输出为连续值的情景。在另一类情景中,模型输出可以是一个像图像类别这样的离散值。对于这样的离散值预测问题,我们可以使用诸如softmax回归在内的分类模型。和线性回归不同,softmax回归的输出单元从一个变成了多个,且引入了softmax运算使输出更适合离散值的预测和训练。本节以softmax回归模型为例,介绍神经网络中的分类模型。3.4.1 分类问题考虑一个简单的图像分类问题,其输入图像的高和宽均为2像素,且色彩为灰度。这样每个像素值都可以用一个标量表示。原创 2020-06-15 18:24:27 · 241 阅读 · 0 评论 -
线性回归tensorflow2.1.0简洁实现
线性回归的简洁实现xiaoyao 动手学深度学习 tensorflow 2.1.0随着深度学习框架的发展,开发深度学习应用变得越来越便利。实践中,我们通常可以用比上一节更简洁的代码来实现同样的模型。在本节中,我们将介绍如何使用tensorflow2.1.0推荐的keras接口更方便地实现线性回归的训练。生成数据集我们生成与上一节中相同的数据集。其中features是训练数据特征,labels是标签。import tensorflow as tfnum_inputs = 2num_exampl原创 2020-06-13 17:30:19 · 634 阅读 · 0 评论 -
线性回归tensorflow实现
线性回归tensorflow实现xiaoyao 《动手学深度学习》 tensorflow2.1.0import tensorflow as tfprint(tf.__version__)# from Ipython import displayfrom matplotlib import pyplot as pltimport random%matplotlib inlineimport warningswarnings.filterwarnings('ignore')2.1.0原创 2020-06-12 18:50:49 · 372 阅读 · 0 评论 -
linear-regression 线性回归
3.1.2 linear regressionxiaoyao 《动手学深度学习》tensorflow2.1.0实现3.1 线性回归线性回归输出是一个连续值,因此适用于回归问题。回归问题在实际中很常见,如预测房屋价格、气温、销售额等连续值的问题。与回归问题不同,分类问题中模型的最终输出是一个离散值。我们所说的图像分类、垃圾邮件识别、疾病检测等输出为离散值的问题都属于分类问题的范畴。softmax回归则适用于分类问题。由于线性回归和softmax回归都是单层神经网络,它们涉及的概念和技术同样适用于大多数原创 2020-06-12 15:49:23 · 291 阅读 · 0 评论 -
自动求梯度
自动求梯度import tensorflow as tfprint(tf.__version__)2.1.0自动求梯度在深度学习中,我们经常需要对函数求梯度(gradient)。本节将介绍如何使用tensorflow2.0提供的GradientTape来自动求梯度。2.3.1 一个简单的例子我们先看一个简单例子:对函数 y=2x⊤xy = 2\boldsymbol{x}^{\t...原创 2020-03-30 22:25:11 · 620 阅读 · 0 评论 -
tensorflow数据操作
tensorflow数据操作xiaoyao 动手学深度学习,tensorflow代码import tensorflow as tfprint(tf.__version__)2.1.0在深度学习中,我们通常会频繁地对数据进行操作。作为动手学深度学习的基础,本节将介绍如何对内存中的数据进行操作。在tensorflow中,tensor是一个类,也是存储和变换数据的主要工具。如果你之前用过...原创 2020-03-23 23:03:56 · 1656 阅读 · 0 评论 -
2020年Tensorflow2-GPU 完整安装过程总结
2020年Tensorflow2-GPU 完整安装过程总结Tensorflow2.1将是最后一个支持python2的版本。tensorflow2.1增加了对TPU的支持,同时tf.keras和tf.data这两个常用的API也得到了很多新的更新。Tensorflow2.1的cuda版本为10.1,cuDNN版本为7.6.Windows 和 Linux 系统的 TensorFlow pip 版本...原创 2020-03-23 12:10:47 · 11200 阅读 · 4 评论 -
神经网络常用激活函数
神经网络常用激活函数激活函数:激活函数在神经元中很重要,通常为了增强网络的表示能力和学习能力,激活函数需要具备的性质如下:\qquad(1)连续可导(但也允许少数点上不可导)的非线性函数,其中,可导的激活函数可以直接利用数值优化的方法来学习网络参数。\qquad(2)激活函数及其导函数要尽可能的简单,这样有利于提高网络的计算效率。\qquad(3)激活函数的导函数值域要在一个合适的区间内,...原创 2020-02-22 22:09:17 · 1536 阅读 · 0 评论 -
机器学习/深度学习 常用概率知识
文章目录1.样本空间2.事件和概率2.1 随机变量2.1.1 离散随机变量**(1)伯努利分布**:**(2)二项分布**:2.1.2 连续随机变量**(1)均匀分布**:**(2)正态分布**:2.1.3 累积分布函数2.2 随机向量2.2.1 离散随机向量**(1)多项分布**:2.2.2 连续随机向量**(2)各项同性高斯分布**:**(3)狄利克雷分布**:2.3 边际分布2.4 条件概率...原创 2020-03-08 22:35:36 · 555 阅读 · 0 评论 -
Vi编辑器的使用方法
Vi编辑器的使用方法学习链接vi编辑器是所有Unix及Linux系统下标准的编辑器,它的强大不逊色于任何最新的文本 编辑器,这里只是简单地介绍一下它的用法和一小部分指令。由于对Unix及Linux系统的任 何版本,vi编辑器是完全相同的,因此您可以在其他任何介绍vi的地方进一步了解它。Vi 也是Linuxvi编辑器是所有Unix及Linux系统下标准的编辑器,它的强大不逊色于任何最新的文本...原创 2020-02-27 11:39:41 · 394 阅读 · 0 评论 -
神经网络&波士顿房价预测
使用Numpy构建神经网络 百度免费课程学习笔记本节将使用Python语言和Numpy库来构建神经网络模型,向读者展示神经网络的基本概念和工作过程。构建神经网络/深度学习模型的基本步骤如之前的介绍,应用于不同场景的深度学习模型具备一定的通用性,均可以从下述五个步骤来完成模型的构建和训练。数据处理:从本地文件或网络地址读取数据,并做预处理操作,如校验数据的正确性等。模型设计:完成网络结构...原创 2020-02-25 19:00:45 · 9108 阅读 · 3 评论