csj50的专栏

卷积运算的目的是特征提取，第一层卷积层可能只能提取一些低级的特征，如边缘、线条和角等层级，更多层的网络能从低级特征中迭代提取更复杂的特征。卷积神经网络中每层卷积层由若干卷积单元（卷积核）组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积核我们可以理解为一个观察的人，带着若干权重和一个偏置去观察，进行特征加权运算。1、卷积层（Convolutional Layer）介绍。卷积核 - Filter - 过滤器 - 模型参数。2、卷积核（Filter）的四大要素。（4）卷积核零填充大小。

（4）通常所说的深度学习，一般指的是这些CNN等新的结构以及一些新的方法（比如新的激活函数Relu等），解决了传统多层神经网络的一些难以解决的问题。（2）卷积神经网络CNN，在原来多层神经网络的基础上，加入了更加有效的特征学习部分，具体操作就是在原来的全连接层前面加入了卷积层和池化层。（1）传统意义上的多层神经网络是只有输入层、隐藏层、输出层。随着人工智能需求的提升，我们想要做复杂的图像识别，做自然语言处理，做语义分析翻译等等，多层神经网络的简单叠加显然力不从心。2、卷积神经网络与传统多层神经网络对比。

每一个mnist数据单元有两部分组成：一张包含手写数字的图片和一个对应的标签。我们把这些图片设为“xs”，把这些标签设为“ys”。训练数据集和测试数据集都包含xs和ys。比如训练数据集的图片是mnist.train.images，训练数据集的标签是mnist.train.labels。mnist数据集是一个经典的数据集，其中包括70000个样本，包括60000个训练样本和10000个测试样本。2、下载地址：http://yann.lecun.com/exdb/mnist/一、mnist手写数字识别。

人工神经网络（Artificial Neural Network，简写为ANN）。也简称为神经网络（NN）是一种模仿生物神经网络（动物的中枢神经系统，特别是大脑）结构和功能的计算模型。经典的神经网络结构包含三个层次的神经网络。分别为输入层、输出层以及隐藏层。

1、TFRecords其实是一种二进制文件，虽然它不如其他格式好理解，但是它能更好的利用内存，更方便复制和移动，并且不需要单独的标签文件。（3）将协议内存块序列化为字符串，并且通过tf.io.TFRecordWriter写入到TFRecords文件。（2）将数据填入到Example协议内存块（protocol buffer）3、文件格式*.tfrecords。一、什么是TFRecords文件。二、Example结构解析。

接下来的3072个字节是图像像素的值。前1024个字节是红色通道值，下1024个是绿色通道值，最后1024个是蓝色通道值。CIFAR-10数据集由10个类别的60000个32x32彩色图像组成，每个类别有6000个图像。每个文件都包含10000个这样的3073字节的行图像，但没有任何分隔行的限制。二进制数据文件包含data_batch_1.bin 到 data_batch_5.bin、test_batch.bin。3、data_batch_1.bin 到 data_batch_5.bin 训练集。

文本特征抽取：转换成数值，二维数组shape(n_samples, m_features)字典特征抽取：转换成数值，二维数组shape(n_samples, m_features)组成一张图片特征值是所有的像素值，有三个维度：图片长度、图片宽度、图片通道数。我们经常接触到的图片有两种，一种是黑白图片（灰度图），另一种是彩色图片。图片：转换成数值，三维数组shape(图片长度、图片宽度、图片通道数)描述一个像素点，如果是灰度图，那么只需要一个数值来描述它，就是单通道。灰度图[长，宽，1]彩色图[长，宽，3]

除此以外，还有Dataset.repeat()（重复数据集的元素）、Dataset.reduce()（与Map相对的聚合操作）、Dataset.take()（截取数据集中的前若干个元素）等，可参考API文档进一步了解。将数据集打乱（设定一个固定大小的缓冲区（Buffer），取出前buffer_size个元素放入，并从缓冲区中随机采样，采样后的数据用后续数据替换）对数据集中的每个元素应用函数f，得到一个新的数据集（这部分往往结合tf.io进行读写和解码文件，tf.image进行图像处理）

3、如果需要在TensorFlow2.0中使用静态图，可以使用@tf.function装饰器将普通Python函数转换成对应的TensorFlow计算图构建代码。2、而在TensorFlow2.0时代，采用的是动态计算图，即每使用一个算子后，该算子会被动态加入到隐含的默认计算图中立即执行得到结果，而无需开启Session。1、在TensorFlow1.0时代，采用的是静态计算图，需要先使用TensorFlow的各种算子创建计算图，然后再开启一个会话Session，显式执行计算图。收集高维度的变量参数。

（3）这里将数据分布的规律确定，是为了使我们训练出的参数跟真实的参数（即0.8和0.7）比较是否训练准确。（4）当梯度下降到一定程度，使得损失函数比较小的时候，所对应的权重和偏置，就是我们要求的模型参数。y_predict = x * 权重(1, 1) + 偏置(1, 1)（2）learning_rate：学习率，一般为0-1之间比较小的值。（2）数据本身的分布为 y = 0.8 * x + 0.7。（1）有个假设函数，假定特征值和目标值满足这样的关系。100行1列，乘以1行1列，得出100行1列。

在模块中，已经实现了几种简单的分类器和回归器，包括：Baseline、Learning和DNN。这里的DNN的网络，只是全连接网络，没有提供卷积网络。tf.contrib.layers提供了能够将计算图中的网络层、正则化、摘要操作，是构建计算图的高级操作，但是tf.contrib包含不稳定和实验代码，有可能以后API会改变。这个模块相当于为TensorFlow进行的脚本提供一个main函数入口，可以定义脚本运行的flags。这个模块提供了一些训练器，与tf.nn组合起来，实现一些网络的优化计算。

默认为[GraphKeys.GLOBAL_VARIABLES]，如果trainable是True，变量也被添加到图形集合[GraphKeys.TRAINABLE_VARIABLES]1、TensorFlow变量是表示程序处理的共享持久状态的最佳方法。这里的变量和传统认知里存储值或者返回值不一样，他是TensorFlow里的一个组件。（3）collections：新变量将添加到列出的图的集合中collections。2、变量需要显示初始化，才能运行值（TensorFlow2.0版本不需要）

张量Tensor和ndarray是有联系的，当我们print()打印值的时候，它返回的就是ndarray对象。TensorFlow的张量就是一个n维数组，类型为tf.Tensor。矩阵，二维数组 [[2,3,4],[2,3,4]]向量，一维数组 [2,3,4]标量，可以看做0阶张量。向量，可以看做1阶张量。矩阵，可以看做2阶张量。（2）shape：形状（阶）张量，在计算机当中如何存储？（1）type：数据类型。

（2）tf.compat.v1.InteractiveSession：用于交互式上下文中的TensorFlow，比如想验证下自己的想法。一个运行TensorFlow operation的类。会话包含以下两种开启方式。2.x版本由于是即时执行模式，所以不需要会话。但是可以手工开启会话。（1）tf.compat.v1.Session：用于完整的程序当中。在2.x版本中没有eval()函数了，用numpy()函数代替。2、InteractiveSession例子。

（1）一个操作对象（Operation）是TensorFlow图中的一个节点，可以接收0个或者多个输入Tensor，并且可以输出0个或者多个Tensor，Operation对象是通过op构造函数（如tf.matmul()）创建的。（2）例如c = tf.matmul(a, b)创建了一个Operation对象，类型为MatMul类型，它将张量a、b作为输入，c作为输出。（3）其中tf.matmul()是函数，在执行matmul函数的过程中会通过MatMul类型创建一个与之对应的对象。

2、TensorFlow可用于训练大规模深度神经网络所需的计算，使用该工具涉及的计算往往复杂而深奥。为了方便TensorFlow程序的理解、调试和优化，TensorFlow提供了TensorBoard可视化工具。1、TensorFlow有一个亮点就是，我们能看到自己写的程序的可视化效果，这个功能就是TensorBoard。一、TensorBoard可视化学习。1、数据序列化events文件。二、实现程序可视化过程。

（1）通过调用tf.compat.v1.get_default_graph()访问，要将操作添加到默认图形中，直接创建OP即可。1、图包含了一组tf.Operation代表的计算单元对象和tf.Tensor代表的计算单元之间流动的数据。图结构：数据(Tensor) + 操作(Operation)（2）op、sess都含有graph属性，默认都在一张图中。通常TensorFlow会默认帮我们创建一张图。

TensorFlow1.x构建和执行是分成两个步骤，TensorFlow2.x升级到了即时执行模式，所以就不需要会话了。TensorFlow1.x中跨一个或多个本地或远程设备运行数据流图的机制。1、TensorFlow程序通常被组织成一个构建图阶段和一个执行图阶段。这是TensorFlow将计算表示为指令之间的依赖关系的一种表示法。在构建阶段，数据与操作的执行步骤被描述成一个图。在执行阶段，使用会话执行构建好的图中的操作。一、TensorFlow实现一个加法运算。提供图当中执行的操作。

（2）深度学习通常由多个层组成，它们通常将更简单的模型组合在一起，将数据从一层传递到另一层来构建更复杂的模型。通过训练大量数据自动得出模型，不需要人工特征提取环节。（1）机器学习的特征工程步骤是要靠手工完成的，而且需要大量领域专业知识。深度学习：没有人工特征提取，直接将特征值传进去。机器学习：人工特征提取 + 分类算法。一、深度学习与机器学习的区别。

数据来源：https://www.kaggle.com/damianpanek/sunday-eda/data。对于这一组电影数据，如果我们想看Rating、Runtime (Minutes)的分布情况，应该如何呈现数据？对于这一组电影数据，如果我们希望统计电影分类genre的情况，应该如何处理数据？想知道这些电影数据中评分的平均分，导演的人数等信息，我们应该怎么获取？1、现在我们有一组从2006年到2016年1000部最流行的电影数据。

按照行或者列进行合并，axis=0为列索引，axis=1为行索引。如果数据由多张表组成，那么有时候需要将不同的内容合并在一起分析。将刚才处理好的one-hot编码与原数据合并。1、先回忆下numpy中如何合并。

（2）如果要珍惜每一个样本，可以替换/插补（计算平均值或中位数）False：不替换修改原数据，生成新的对象。（1）如果样本量很大，可以删除含有缺失值的样本。存在缺失值nan，并且是np.nan。（3）缺失值不是nan，是其他标记的。True：会修改原数据。2、判断数据是否为nan。value：替换成的值。1、电影数据文件获取。

1、我们的数据大部分存在于文件当中，所以pandas会支持复杂的IO操作，pandas的API支持众多文件格式，如CSV、SQL、XLS、JSON、HDF5。usecols：如果一个数据集中有很多列，但是我们在读取的时候只想要使用到的列，我们就可以使用这个参数。filepath_or_buffer：文件路径。

scatter 散点图。

3、想要得到每天的涨跌幅大小，求出每天close-open价格差。1、逻辑运算符号、|、&expr：查询字符串。

1、numpy当中我们已经讲过使用索引选取序列和切片选择，pandas也支持类似操作。2、直接使用行列索引（先列后行）一、读取一个真实的股票数据。

1、numpy已经能够帮助我们处理数据，能够结合matplotlib解决部分数据展示等问题，那么pandas用在什么地方。1、2008年Wes McKinney（韦斯·麦金尼）开发出的库。3、以numpy为基础，借力numpy模块在计算方面性能高的优势。4、封装了matplotlib、numpy的画图和计算。4、基于matplotlib能够简便的画图。2、专门用于数据分析的开源python库。1、pandas三大数据结构。1、DataFrame结构。2、如何创建更有意义的数据。2、便捷的数据处理能力。

fname：文件名，也可以是字符串、列表、StringIO对象、迭代器等，如果是文件名是 '.gz' or '.bz2'，还可以自动解压处理。但是numpy其实并不适合用来读取和处理数据，因此我们这里了解相关API，以及numpy不方便的地方即可。大多数数据并不是我们自己构造的，而是存在文件当中，需要我们用工具获取。delimiter：分隔符（比如一般使用","）dtype：指定数据类型（不同类型需要指定）numpy是运算工具，所以不支持读取字符串。但是有问题，第一行字符串没有读出来。

实现数据的切分和合并，将数据进行切分合并处理。指定轴，选择竖直或水平拼接。

当我们要操作符合某一条件的数据时，需要用到逻辑运算。

我们需要占用位置，或者生成一个空的数组。1、adarray.方法()为什么需要生成0和1的数组？2、np.函数名()1、生成0和1的数组。

一、ndarray的属性。

numpy支持常见的数组和矩阵操作。对于同样的数值计算任务，使用numpy比直接使用python要简洁的多。1、numpy提供了一个n维数组类型ndarry，它描述了相同类型的items的集合。numpy使用ndarray对象来处理多维数组，该对象是一个快速而灵活的大数据容器。2、numpy是一个开源的python科学计算库，用于快速处理任意维度的数组。num - numerical 数值化的。d - dimension 维度。二、ndarray介绍。array - 数组。

饼图广泛的应用在各个领域，用于表示不同分类的占比情况，通过弧度大小来对比各种分类。饼图通过将一个圆饼按照分类的占比划分成多个区块，整个圆饼代表数据的总量，每个区块（圆弧）表示该分类占总体的比例大小，所有区块（圆弧）的加和等于100%

直方图，形状类似柱状图却有着与柱状图完全不同的含义。直方图牵涉统计学的概念，首先要对数据进行分组，然后统计每个分组内数据元的数量。在坐标系中，横轴标出每个组的端点，纵轴表示频数，每个矩形的高，代表对应的频数，称这样的统计图为频数分布直方图。（2）身高在160.5cm以上的同学有多少人？（1）身高在哪一组的同学最多？

2、需求：对比每部电影的票房收入。

1、matplotlib能够绘制折线图、散点图、柱状图、直方图、饼图。我们需要知道不同的统计图的意义，以此来决定选择哪种统计图来呈现我们的数据。说明：以折线的上升或下降来表示统计数量的增减变化的统计图。特点：能够显示数据的变化趋势，反映事物的变化情况（变化）一、常见图形种类及意义。

matplotlib.pyplot包含了一系列类似于matlab的画图函数。它的函数作用于当前图形（figure）的当前坐标系（axes）展示城市一周的天气，比如从星期一到星期日的天气温度如下。1、matplotlib.pyplot模块。一、折线图绘制与保存图片。2、折线图绘制与显示。

1、数据可视化是在整个数据分析的关键辅助工具，可以清晰的理解数据，从而调整我们的分析方法。1、专门用于开发2D图表（包括3D图表）（1）能将数据进行可视化，更直观的呈现。二、为什么要学习matplotlib。3、以渐进、交互方式实现数据可视化。（2）使数据更加客观、更具说服力。一、什么是matplotlib。mat：matrix（矩阵）2、数字展示和图形展示对比。2、使用起来及其简单。

（1）jupyter notebook原名ipython notebook，是ipython的加强网页版，一个开源web应用程序。（4）.ipynb文件格式是用于计算型叙述的JSON文档格式的正式规范。（2）名字源自julia、python和R（数据科学的三种开源语言）（3）是一款程序员和科学工作者的编程、文档、笔记、展示软件。numpy：进行科学计算的基础软件包（数组、矩阵）1、什么是jupyter notebook。三、jupyter notebook使用。notebook：数据分析与展示的平台。