设计最优数据输入管道

设计最优数据输入管道 使用 prefetch 函数去重叠 数据读取器 和 数据消耗器的工作。推荐在输入管道的末端添加 prefetch(n) (n是batch size),以重叠 CPU 上的变换 及 GPU/TPU设备上的训练。 dataset = dataset.batch(bat...

2019-01-07 17:16:11

阅读数:11

评论数:0

使用TensorFlow Dataset 加速数据处理及训练

使用TensorFlow Dataset 加速数据处理及训练 https://github.com/aymericdamien/TensorFlow-Examples/blob/master/notebooks/5_DataManagement/tensorflow_dataset_api.ipy...

2019-01-07 17:13:11

阅读数:22

评论数:0

应用TensorFlow构建lstm

应用TensorFlow构建lstm import tensorflow as tf from tensorflow.contrib import rnn from tensorflow.examples.tutorials.mnist import input_data mnist = inp...

2019-01-04 15:48:36

阅读数:15

评论数:0

应用TensorFlow高级API构建卷积神经网络(2)--api解释

tf.estimator.inputs.numpy_input_fn def numpy_input_fn(x, y=None, batch_size=128, num_epochs=...

2019-01-03 09:40:07

阅读数:7

评论数:0

应用TensorFlow高级API构建卷积神经网络(1)--代码

应用TensorFlow高级API构建卷积神经网络 两个卷积层,两个全连接层 输入 [sample * 28 * 28 * 1 ] (灰度图) [ 28 * 28 1 ] --> (32个卷积核,每个大小551,sample方式卷积) --> [ 2...

2019-01-03 09:36:55

阅读数:27

评论数:0

应用TensorFlow构建卷积神经网络

应用TensorFlow构建卷积神经网络 两个卷积层,两个全连接层 输入 [sample * 28 * 28 * 1 ] (灰度图) [ 28 * 28 1 ] --> (32个卷积核,每个大小551,sample方式卷积) --> [ 2...

2019-01-03 09:32:00

阅读数:9

评论数:0

应用TensorFlow高级api构建全连接神经网络(2)--api解释

tf.layers.dense tf.layers.dense( inputs, units, activation=None, use_bias=True, kernel_initializer=None, bias_initializer=tf....

2019-01-03 09:30:21

阅读数:53

评论数:0

应用TensorFlow高级api构建全连接神经网络(1)--代码

应用TensorFlow高级api构建全连接神经网络 https://github.com/aymericdamien/TensorFlow-Examples/blob/master/notebooks/3_NeuralNetworks/neural_network.ipynb import nu...

2018-12-29 16:04:12

阅读数:13

评论数:0

应用TensorFlow构建全连接神经网络

应用TensorFlow构建全连接神经网络 https://github.com/sjchoi86/tensorflow-101/blob/master/notebooks/mlp_mnist_xavier.ipynb import numpy as np import tensorflow...

2018-12-29 16:02:09

阅读数:14

评论数:0

TensorFlow深度神经网络配置

建议DNN配置 名称 配置 权重初始化 He initialization 激活函数 ELU 归一化 Batch Normalization 正则化 dropout 优化器 Adam 学习速率调整 None 全连接层 from tensorflow.cont...

2018-12-29 15:55:12

阅读数:52

评论数:0

9 前向神经网络

9 前向神经网络 01 常用激活函数 Sigmoid激活函数 Tanh激活函数 ReLU激活函数 02 梯度消失 Sigmoid激活函数将输入z映射到区间(0, 1) , 当z很大时, f(z)趋近于1; 当z很小时, f(z)趋近于0。 其导数在z很大或很小时都会趋近于0, 造成梯度消失的...

2018-12-25 09:42:57

阅读数:34

评论数:0

5 非监督学习

5 非监督学习 01 聚类 聚类是在事先并不知道任何样本类别标签的情况下, 通过数据之间的内在关系把样本划分为若干类别, 使得同类别样本之间的相似度高, 不同类别之间的样本相似度低。 02 K均值算法的优缺点 缺点: 例如受初值和离群点的影响每次的结果不稳定、 结果通常不是全局最优而是局部最优解...

2018-12-20 09:13:50

阅读数:13

评论数:0

4 降维

4 降维 01 主成分分析–PCA PCA选择的是投影后数据方差最大的方向。 由于它是无监督的, 因此PCA假设方差越大, 信息量越多, 用主成分来表示原始数据可以去除冗余的维度, 达到降维。 02 线性判别分析–LDA LDA选择的是投影后类内方差小、 类间方差大的方 向。 其用到了类别标...

2018-12-20 09:11:18

阅读数:6

评论数:0

2 模型评估

2 模型评估 01 评估指标 准确率的局限性 准确率是指分类正确的样本占总样本个数的比例。 当不同类别的样本比例非常不均衡时,可以使用更为有效的平均准确率(每个类别下的样本准确率的算术平 均) 作为模型评估的指标。 精确率与召回率 精确率是指分类正确的正样本个数占分类器判定为正样本的...

2018-12-14 08:51:43

阅读数:49

评论数:0

1 特征工程

1 特征工程 01 特征归一化、标准化 方法 归一化–线性函数归一化(Min-Max Scaling) 标准化–零均值归一化(Z-Score Normalization) 原因 参数更新速度变得更为一致,收敛速度更快。 特点 标准化是更常用的手段,归一化的应用场景是有限的。 ...

2018-11-29 16:25:17

阅读数:21

评论数:0

keras--earlyStopping获取最佳模型

best_weights_filepath = './best_weights.hdf5' earlyStopping=kcallbacks.EarlyStopping(monitor='val_loss', patience=10, verbose=1, mode='auto') saveBes...

2018-11-16 09:10:45

阅读数:142

评论数:0

机器学习年鉴总结之偏差与方差

偏差、方差 算法在开发样本集上的错误率为 16%,我们可以把这 16%分成两部分: 1.算法在训练样本集上的错误率,本例中为 15%,这通常称作算法的偏差 。 2.算法在开发/测试样本集上相对训练样本集上高出的错误率部分, 本例中,算法那在开发样本集上的错误率比在训练样本集上的错误率高 1%,这通...

2018-11-13 14:22:12

阅读数:51

评论数:0

机器学习年鉴总结之数据集

三个数据集: 1.训练数据集 — 用来训练你的算法模型 2.开发数据集 — 用于调整学习模型,比如调整参数、选择特征等。这部分数据也称 作预留 交叉验证数据集。 3.测试数据集 — 用于评估模型性能,这部分数据集不参与模型调整和参数更新。 选择最终实际要用的数据,作为开发和测试样本集。 使用同一...

2018-11-13 14:21:01

阅读数:55

评论数:0

Graphviz、pydotplus绘制梯度提升树结构图

Graphviz、pydotplus绘制梯度提升树结构图 安装 pip install pydotplus 安装Graphviz。https://blog.csdn.net/a1368783069/article/details/52067404 # 梯度提升树结构图 from sklearn...

2018-10-24 13:50:37

阅读数:98

评论数:0

pandas-profiling数据预览分析

安装与调用 pip install pandas-profiling import pandas_profiling jupyter中查看 pandas_profiling.ProfileReport(df) 保存文件查看 pfr = pandas_profiling.ProfileRe...

2018-10-22 14:20:13

阅读数:72

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭