![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习之路
WMXNLFD
努力成瘾的人
个人博客:https://www.cnblogs.com/wmxnlfd/
展开
-
【ML&DL学习】21 rnn embedding lstm generate text
LSTM 长短期记忆网络Ct-1和一个东西做点积操作,然后和另外一个东西进行加法操作,这些操作都是向量。有两个输入,一个ht-1,一个xt,ht-1是LSTM保存的另外一个状态,都输入sigmoid函数,得到一个向量ft,他是一个门限向量,之后ft和ct-1做点积操作,(ft的含义就是遗忘门,看Ct-1中哪些信息需要保留)。同样H_t-1和X_t经过sigmoid操作得到门限向...原创 2020-03-18 11:40:56 · 218 阅读 · 0 评论 -
【ML&DL学习】20 rnn embedding text generation
模型建立embedding_dim = 16batch_size = 512single_rnn_model = keras.models.Sequential([ # 1. define matrix: [vocab_size, embedding_dim] # 2. [1,2,3,4..], max_length * embedding_dim # 3. bat...原创 2020-03-18 11:40:39 · 201 阅读 · 0 评论 -
【ML&DL学习】19 rnn embedding padding pooling
1原创 2020-03-16 21:18:06 · 287 阅读 · 0 评论 -
【ML&DL学习】18 kaggle 10 monkeys model and resnet50 finetune
上传下载notebook运行第一行%matplotlib inlineimport matplotlib as mplimport matplotlib.pyplot as pltimport numpy as npimport osimport pandas as pdimport sklearnimport sysimport tensorflow as tf...原创 2020-03-16 21:17:23 · 208 阅读 · 0 评论 -
【ML&DL学习】17 tf keras separable cnn
深度可分离卷积深度可分离卷积是普通卷积操作的变种,可以替代不同卷积,从而构成卷积神经网络。对于一个普通卷积,首先进行3*3的卷积操作,在进行批归一化,在经过relu,形成一个完整的卷积层。对于深度可分离卷积,首先进行33的深度可分离卷积,在进行批归一化,然后relu,在经过11的卷积层,在进行批归一化,relu。视野域指的是输出单元是和多少个输入单元相关联,对于一个33的矩阵来说,输...原创 2020-03-13 19:53:24 · 199 阅读 · 0 评论 -
【ML&DL学习】16 tf keras cnn selu
卷积神经网络全连接层在卷积层和池化层的后面,因为卷积层的输入和输出是一个多维的矩阵,而全连接层的输入和输出是一个多维的向量,所以在卷积层和全连接层的连接点上,需要做一个操作,就是把卷积的输出给展平,展平涉及维度信息,全连接层无法将维度信息给呈现出来,全连接层无法直接与卷积层做连接。什么是反卷积层?可以使数据维度变大,可以使得输入和输出一样大,当输入和输出一样大的时候,就可以去做物体分割(输...原创 2020-03-12 22:08:28 · 200 阅读 · 0 评论 -
【ML&DL学习】15 tf1 dense network dataset
tf1.0hidden_units = [100, 100]class_num = 10# 存放数据x = tf.placeholder(tf.float32, [None, 28 * 28])y = tf.placeholder(tf.int64, [None])input_for_next_layer = xfor hidden_unit in hidden_units...原创 2020-03-12 22:08:00 · 105 阅读 · 0 评论 -
【ML&DL学习】14 tf premade estimator
预定义estimator使用# 定义一个文件保存中间输出模型 output_dir = 'baseline_model'if not os.path.exists(output_dir): os.mkdir(output_dir)baseline_estimator = tf.estimator.BaselineClassifier( model_dir = output...原创 2020-03-11 21:33:11 · 114 阅读 · 0 评论 -
【ML&DL学习】13 tf keras to estimator
tf.estimator使用train.csv文件一共628条样本测试集,一共265条样本# https://storage.googleapis.com/tf-datasets/titanic/train.csv# https://storage.googleapis.com/tf-datasets/titanic/eval.csvtrain_file = "./dat...原创 2020-03-11 21:32:44 · 228 阅读 · 0 评论 -
【ML&DL学习】12 tf tfrecord basic api generate tfrecord
先把dataset转出tfrecord格式,再用tf.data进行读取,然后模型进行训练# tfrecord 文件格式# -> tf.train.Example# -> tf.train.Features -> {"key": tf.train.Feature}# -> tf.train.Feature -> tf.train.ByteLis...原创 2020-03-09 22:22:30 · 127 阅读 · 0 评论 -
【ML&DL学习】11 tf data basic api generate csv
tf.data API使用tf.data 的作用是处理数据,读取数据,对数据做一些预处理,然后把数据塞给程序进行训练。Dataset 基础API使用Dataset读取csv文件(csv文件,用逗号分隔,按行存储的文件)Dataset读取tfrecord文件(tfrecord是TensorFlow独有存储格式,这种格式读取速度快)API列表读取文本文件和解析csv从内存中去构...原创 2020-03-09 22:22:14 · 126 阅读 · 0 评论 -
【ML&DL学习】10 tf diffs and keras regression manu diffs
自定义求导def f(x): return 3. * x ** 2 + 2. * x - 1def approximate_derivative(f, x, eps=1e-3): #向左移动eps的值 向右移动eps的值 得到两个点 这两个点的斜率就是在x点的导数近似 #eps 越小 越逼近导数 纵坐标差值 / 横坐标差值 return (f(x + eps) - f...原创 2020-03-08 20:36:52 · 186 阅读 · 0 评论 -
【ML&DL学习】9 tf function and auto graph
tf.function把普通python语法写的函数或者代码变成TensorFlow里面的图auto-graph 是tf.function所依赖的一个机制,这种机制可以把python语法的东西变成TensorFlow里面的图# tf.function and auto-graph.# 输入 缩放因子def scaled_elu(z, scale=1.0, alpha=1...原创 2020-03-08 20:36:24 · 177 阅读 · 0 评论 -
【ML&DL学习】8 tf keras regression customized loss layers
自定义损失函数之前使用的损失函数def customized_mse(y_true, y_pred): return tf.reduce_mean(tf.square(y_pred - y_true))model = keras.models.Sequential([ keras.layers.Dense(30, activation='relu', ...原创 2020-03-07 10:20:19 · 233 阅读 · 0 评论 -
【ML&DL学习】7 tf basic api
基础API常量# 定义常量 定义二位矩阵 并初始化t = tf.constant([[1., 2., 3.], [4., 5., 6.]])# indexprint(t)# 取出第二列以后的数据print(t[:, 1:])# 取出第二列的数据print(t[..., 1])# opsprint(t+10)# 平方操作print(tf.square(t))# 矩...原创 2020-03-06 22:06:57 · 165 阅读 · 0 评论 -
【ML&DL学习】6 tf keras regression hp search sklearn
超参数搜索搜索策略:网格搜索随机搜索遗传算法搜索启发式搜索手动搜索 learning rate# learning_rate: [1e-4, 3e-4, 1e-3, 3e-3, 1e-2, 3e-2]# W = W + grad * learning_rate# 定义learning rate集合learning_rates = [1e-4, 3e-4, 1e-3...原创 2020-03-04 20:57:49 · 196 阅读 · 0 评论 -
【ML&DL学习】5 tf keras regression wide deep subclass multiinput multioutput
Wide & Deep 模型分类求一个分布,回归求一个数值用向量表达出 词与词之间的距离Wide模型只有一层,所有输入直接连接输出,输入是稀疏特征,也就是one-hot表达,one-hot表达每个分量直接连接在输出层上。Wide & Deep模型,左半部分是Wide模型,右半部分是一个Deep模型,Deep模型是一个有多层的一个神经网络,对一个输入的数据,先...原创 2020-03-03 23:34:21 · 182 阅读 · 0 评论 -
【ML&DL学习】4 tf keras classification model dnn bn selu dropout
回忆一些神经网络的知识第一种归一化到 0-1之间第二种是上次用的未归一化是椭圆,归一化后是正圆,这样梯度下降,等高线是正圆,计算梯度没有那么曲折,训练速度加快。把一些节点随机失效弃用,变成一个子网络还有一个降低计算量定义一个深度神经网络# tf.keras.models.Sequential()model = keras.models.Sequential()# 把输...原创 2020-03-03 23:33:48 · 170 阅读 · 0 评论 -
【ML&DL学习】3 tf keras classification model callbacks
下面学习一下如何在tf keras使用回调函数回调函数:当你在训练模型的时候中间做的一些事情一般常用的:EarlyStopping,当模型训练的loss不在下降的时候,可以提前停止ModelCheckPoint,每一批保存模型TensorBoard,可视化模型在fit 之前进行添加# Tensorboard, earlystopping, ModelCheckpoint...原创 2020-03-01 11:17:28 · 200 阅读 · 0 评论 -
【ML&DL学习】2 tf keras classification model normalize
上次讲到了需要对输入数据进行归一化,那么现在来看看怎么进行归一化吧!打印训练值中的最大值和最小值print(np.max(x_train), np.min(x_train))# 归一化方法 (x - 均值) / 方差 处理完数据符合均值是0方差是1的正态分布# x = (x - u) / std# 使用sklearn 里面的 StandardScalerfrom sklearn....原创 2020-03-01 11:16:28 · 162 阅读 · 0 评论 -
【ML&DL学习】1 tf_keras_classification_model
tf2.0官方文档https://tensorflow.google.cn/versions/r2.0/api_docs/python/tf导入一些常用的头文件import matplotlib as mplimport matplotlib.pyplot as plt%matplotlib inlineimport numpy as npimport sklearnimport ...原创 2020-02-29 11:07:00 · 357 阅读 · 0 评论 -
【ML&DL学习】0 如何理解手写数字识别网络
ML目标从数据中学习到一些高层次的抽象的一些概念,这样的话,对于一个新数据x,也能预测出比较符合实际情况的y。而自然界的y往往有两种:离散和连续。连续值预测:线性方程:可以求出w和b精确解,但是在现实生活中,我们不能精确求解,1是生活中的模型是未知的,2是有噪声。需要更多的参数才能求出w和b的值。如何更好的求解w和b参数呢?构造一个新的损失函数loos functionM...原创 2020-02-18 22:16:22 · 269 阅读 · 0 评论 -
《机器学习》笔记
chapter-1监督学习:分类,回归无监督学习:聚类泛化能力:具有强泛化能力的模型能很好地适用与整个样本空间。NFL定理(没有免费的午餐定理):总误差与学习算法无关,任意两个学习算法,他们的期望性相同。即学习算法的期望性跟随机胡猜差不多。要具体问题具体分析,谈论算法的优劣,必须针对具体的学习问题。统计学习:支持向量机(SVM),核方法(kernel methods)数据挖掘(dat...原创 2019-04-29 09:28:45 · 253 阅读 · 0 评论