Daybreak's blog

在本文中，我们将介绍一些使用 TorchVision 模块中存在的预训练网络的实践示例——用于图像分类的预训练模型。

在这篇文章中，我们将讨论 Mask RCNN Pytorch 背后的理论以及如何在 PyTorch 中使用预训练的 Mask R-CNN 模型。

这些天在学习图像语义分割相关的知识，并简单写了篇。原本想先看几篇经典论文，如全卷积网络，奈何英语水平有限，翻译起来实在费劲。想来不如先直接体验一下语义分割的效果，果然实践起来还挺有趣的。遂将过程记录如下。

DenseNet是由Gao Huang等研究人员于2017年提出的一种深度神经网络架构。DenseNet的主要思想是在网络的每一层之间建立密集的连接，这种密集连接的结构使得网络在训练过程中可以更好地传播梯度信息，有效地缓解了梯度消失问题。DenseNet在图像分类、物体检测等计算机视觉任务中取得了出色的性能，并获得了 CVPR 2017 最佳论文。

最近的研究表明，如果卷积网络在靠近输入的层和靠近输出的层之间包含较短的连接，那么它们的训练可以更深、更准确、更高效。在本文中，我们接受了这一观察并介绍了密集卷积网络（DenseNet），它以前馈方式将每一层与其他每一层连接起来。而具有 L 层的传统卷积网络有 L 个连接（每层与其后续层之间有一个连接），而我们的网络有 L(L+1)/2 个直接连接。对于每一层，所有先前层的特征图用作输入，并且其自己的特征图用作所有后续层的输入。

残差神经网络（Residual Neural Network，简称ResNet）是深度学习领域中一种非常重要的神经网络架构，由Microsoft Research的何恺明、张祥雨、任少卿、孙剑等人于2015年提出。ResNet的主要贡献在于解决了深度神经网络训练过程中的梯度消失和梯度爆炸等问题，使得可以训练非常深的神经网络，极大地提高了模型的性能。

更深层次的神经网络更难训练。我们提出了一个残差学习框架，以简化对网络的训练，这些网络比以前使用的网络要深入得多。我们明确地将层重新表述为参考层输入的学习残差函数，而不是学习未引用函数。我们提供了全面的经验证据，表明这些残差网络更容易优化，并且可以从显著增加的深度中获得准确性。在ImageNet数据集上，我们评估了深度高达152层的残差网络——比VGG网络深8倍[40]，但仍然具有较低的复杂性。这些残差网络的集合在ImageNet测试集上实现了3.57%的误差。

2012年，AlexNet横空出世。它首次证明了学习到的特征可以超越手工设计的特征。它一举打破了计算机视觉研究的现状。AlexNet使用了8层卷积神经网络，并以很大的优势赢得了2012年ImageNet图像识别挑战赛。

基于PyTorch搭建LeNet卷积神经网络识别FasionMNIST数据集

本文将介绍深度学习当中一些常见数据集，并给出其下载网址及pytorch的获取方式。

本文介绍了如何使用PyTorch搭建BP神经网络识别MNIST手写数字数据集。

近来，我一直在学习pytorch与深度学习的理论知识，但一直苦于无法深入地理解某些理论及其背后的意义，并且很难从0开始用pytorch搭建一深度学习网络来解决一个实际问题。直到偶然接触了《动手学深度学习》这本书，我感觉收获颇丰。这本书其中一章节是讲实战Kaggle比赛：预测房价，其中涵盖非常丰富的知识，为此我将整个实现过程记录如下，不足之处还请大家批评指正。

本文介绍了pytorch搭建网络实现线性回归的全过程，包含了生成数据集、读取数据集、定义模型、初始化模型参数、定义损失函数和定义优化算法和训练等过程。

本文介绍了pytorch的常用函数之线性代数，包含了矩阵、降维、点积。矩阵乘法和范数等内容，旨在让读者快速使用pytorch进行一些基本的线性代数运算。

本文介绍了pytorch的常用函数之数据操作，包含了入门、运算符、节省内存等内容，旨在让读者快速使用pytorch进行一些基本的数据操作。

循环神经网络（recurrent neural network，RNN）是一类用于处理序列数据的神经网络。RNN: 借助循环核（cell）提取特征后，送入后续网络(如全连接网络 Dense)进行预测等操作。RNN 借助循环核从时间维度提取信息，循环核参数时间共享。...

卷积神经网络（convolutional neural network,CNN），也称卷积网络（convolutional network）是一种专门用来处理具有类似网络结构的数据的神经网络。卷积网络是指那些至少在网络的一层中使用卷积运算来替代一般矩阵乘法运算的神经网络。...

本文主要讲述了基于tf.keras搭建神经网络的功能扩展①自制数据集，解决本领域应用②数据增强，扩充数据集③断点续训，存取模型④参数提取，把参数存入文本⑤acc/loss可视化，查看训练效果⑥应用程序，给图识物...

tf.keras搭建神经网络步骤**六步法**1. import2. train，test3. model = tf.keras.models.Sequential4. model.compile5. model.fit6. model.summary

TensorFlow™是一个基于数据流编程（dataflow programming）的符号数学系统，被广泛应用于各类机器学习（machine learning）算法的编程实现，其前身是谷歌的神经网络算法库DistBelief。TensorFlow中的Tensor表示张量，是多维数组（列表），用阶表示张量的维数。.........