- 博客(28)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 用GCP的AutoML进行图像识别(飞机和摩托车)
打开GCP找到机器学习一栏，启动Cloud AutoML API选择AutoML Vision新建数据集多标签分类上传motorbike图片并加标签发现出错了，原来是要先创建buffer再去选择路径然后就成功了然后发现报这样的错解决办法：更改Locationtype上传成功标注在对airplane上传成功之后，选择图像对应标签把所有的图像进行标注后，开始训练设定预算最少选8小时，否则将报...
2020-07-26 18:21:32
776
原创 用Google计算机视觉API进行猫狗图片识别
准备工作进入colab notebook后输入以下代码：from google.colab import drivedrive.flush_and_unmount()drive.mount('/content/gdrive', force_remount=True)root_dir = "/content/gdrive/My Drive/"它会让你点进一个网址，输入安全码(在手机googleplay可找)便可进行后续操作创建文件夹创建两个文件夹，一个cat，一...
2020-07-19 20:15:43
1104
原创 强化学习(Reinforcement Learning)学习笔记DAY03（DQN）
Deep Q Network (DQN) 算法DQN 算法的主要做法是 Experience Replay，其将系统探索环境得到的数据储存起来，然后随机采样样本更新深度神经网络的参数。现在有一个表格：将状态和动作当成神经网络输入值，经过神经网络分析后得到动作的q值，就没有必要在表格中记录q值而是直接通过神经网络生成q值。还有另一种生成形式，输入状态值，输出所有的动作值，然后按照QLearning的原则直接选取最大值的动作作为下一个要做的动作。首先我们需要a1a2正确的Q.
2020-07-15 21:17:39
401
1
原创 强化学习(Reinforcement Learning)学习笔记DAY01（RL分类和Q Learning简单例子）
分类可以把所有的强化学习分成两类：Model-Free RL和Model-Based RL
2020-07-14 12:07:42
440
2
原创 Tensorflow 2.0学习DAY04 Dropput抑制过拟合与超参数的选择
构建网络的总原则增大网络容量，直到过拟合。 采取措施抑制过拟合。 继续增大网络容量，直到过拟合。过拟合与欠拟合过拟合：在训练数据上得分很高，在测试数据上得分相对比较低。欠拟合：在训练数据上得分比较低，在测试数据上得分相对比较低。dropout为什么说dropout可以解决过拟合取平均的作用：先回到标准的模型即没有dropout，我们用相同的训练数据去训练5个不同的神经网络，一般会得到5个不同的结果，此时我们可以采用“5个结果取均值”或者“多数取胜的投票策略”来决定最终结果.
2020-07-02 21:25:13
401
原创 Tensorflow 2.0学习DAY03 优化函数、学习速率与反向传播算法
梯度下降法梯度的输出向量表明了在每个位置损失函数增长最快的方向，可将它视为表示了在函数的每个位置向哪个方向移动函数值可以增长。学习速率概念梯度就是表明损失函数相对参数的变化率，对梯度进行缩放的参数被称为学习速率（learning rate）。它是一种超参数或对模型的一种手工可配置的设置需要为它指定正确的值。如果学习速率太小，则找到损失函数极小值点时可能需要许多轮迭代；如果太大，则算法可能会“跳过”极小值点并且因周期性的“跳跃”而永远无法找到极小值点。合适的学习速率，损失函数随时间下降，直
2020-07-02 10:26:51
313
原创 Tensorflow 2.0学习DAY02 逻辑回归与交叉熵
什么是逻辑回归线性回归预测的是一个连续值，逻辑回归给出的“是”和“否”的回答。Sigmoid函数是一个概率分布函数，给定某个输入，它将输出为一个概率值。逻辑回归损失函数平方差所惩罚的是与损失为同一数量级的情形。 对于分类问题，我们最好的使用交叉熵损失函数会更有效。 交叉熵会输出一个更大的“损失”。交叉熵损失函数交叉熵刻画的是实际输出（概率）与期望输出（概率）的距离，也就是交叉熵的值越小，两个概率分布就越接近。假设概率分布p为期望输出，概率分布q为实际输出，H(p,q)为交叉熵，
2020-07-02 09:28:49
338
原创 Tensorflow 2.0学习DAY01 keras实现线性回归和多层感知机的实现
Tensorflow 2.0（一）tf.keras构建和训练模型的核心高级API。单输入单输出Sequential顺序模型 函数式API
2020-06-28 19:24:40
642
原创 PyTorch学习DAY6TensorBoard的方法
TensorBoard在Terminal输入conda install tensorboard可安装完成。conda install tensorboardSummaryWriter功能：提供创建event file的高级接口。主要属性：log_dir：eventfile输出文件夹。 comment：不指定log_dir时，文件夹后缀。 filename_su...
2020-03-29 21:19:51
165
原创 PyTorch学习DAY4权值初始化和损失函数
权值初始化梯度消失与爆炸从公式可看到，标准差由三个因素所决定，网络层的神经元个数，输入值的方差和网络层权值的方差。当我们的权值的标准差设置为1/n的开根号，我们每一个网络层输出的标准差都是1。Xavier初始化方差一致性：保持数据尺度维持在恰当范围，通常方差为1激活函数：饱和函数，如Sigmoid，TanhKaiming初始化方差一致性：保持数据尺度维持在恰...
2020-03-28 21:12:24
491
原创 PyTorch学习DAY3模型创建与各种层
网络模型的创建模型模型构建两要素：构建子模块（_init_()）和拼接子模块（forward()）。torch.nn...
2020-03-28 13:23:39
293
原创 PyTorch学习DAY2transforms各种操作
人民币二分类数据数据收集-->Img，Label 数据划分-->train valid test 数据读取-->DataLoader(Sampler-->Index，Dataset-->Img，Label) 数据预处理-->transformstorch.utils.data.DataLoader功能：构建可迭代的数据装载器dataset...
2020-03-27 17:33:45
556
原创 PyTorch学习DAY1定义以及张量的操作
Pytorch的定义PyTorch是一个开源的Python机器学习库，基于Torch，用于自然语言处理等应用程序。它是一个基于Python的可续计算包，提供两个高级功能：具有强大的GPU加速的张量计算（如NumPy） 包含自动求导系统的的深度神经网络。Tensor和Variabledata：被包装的Tensor grad：data的梯度 grad_fn：创建Tensor的F...
2020-03-25 17:31:11
418
原创 TensorFlow学习DAY12语音处理以及使用LSTM构建语音分类模型
声音信号将N个采样点集合成一个观测单位，成为帧。通常N的值为256或512，覆盖的时间约为20-30ms左右。为了避免两帧之间变化过大，因此会让两相邻帧之间有一段重叠区域。通常语音识别所采用的语音信号的采样频率为8KHz或16KHz。梅尔频率倒谱系数（MFCC）MFCC是一种广泛使用的语音特征声谱图语音被分为很多帧，每帧语音都对应于一个频谱（通过FFT计算得到），频谱表示...
2020-03-24 10:49:05
2231
原创 TensorFlow学习DAY11word2vec的使用与CNN在自然语言处理的应用
Word2vec当我们分析图片或者语音的时候，我们通常都是在分析密集的，高纬度的数据集。我们所需的全部信息都储存在原始数据中。当我们处理自然语言问题的时候，我们通常会做分词，然后给每一个词一个编号，比如猫的编号是120，狗的编号是343。比如女生的编号是1232，女方的编号是2329。这些编号是没有规律的，没有联系的，我们从编号中不能得到词与词之间的相关性。CMOW和Skip-Gr...
2020-03-20 23:26:16
400
原创 TensorFlow学习DAY10多任务学习以及验证码识别
安装captcha包代码如下# 验证码生成库from captcha.image import ImageCaptcha # pip install captchaimport numpy as npfrom PIL import Imageimport randomimport sys number = ['0','1','2','3','4','5','6','7...
2020-03-19 13:01:25
290
原创 TensorFlow学习DAY9用已经训练好的模型进行图像识别
下载tensorfow-masterhttps://github.com/tensorflow/tensorflow解压到相应目录会发现tensorflow-master\tensorflow\examples\image_retraining并没有想要的retrain.py等文件在readme.md发现代码已经被转移到了https://github.com/tensorflow/...
2020-03-17 19:06:11
1191
原创 TensorFlow学习DAY8保存和载入模型与使用inception-v3识别图像
保存模型代码如下import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data#载入数据集mnist = input_data.read_data_sets("MNIST_data",one_hot=True)#每个批次100张照片batch_size = 100#计算一共...
2020-03-16 23:21:50
188
原创 TensorFlow学习DAY7RNN和LSTM
RNN（Recurrent Neurall Network）在神经元加一个反馈回路，把上一个时间输出的信息作为下一个时间的输入进行处理。LSTM（Long Short Term Memory）输入层门：将新的信息选择性的记录到细胞状态中 ； 忘记门：将细胞状态中的信息选择性的遗忘 ； 输出层门：会把前面的信息保存到隐层中去。RNN会产生梯度消失，对后面神经元的影响...
2020-03-15 22:12:40
112
原创 TensorFlow学习DAY6卷积神经网络
传统神经网络出现的问题：权值太多，计算量太大 权值太多，需要大量样本进行训练经验之谈：样本的大小最好是未知数的5到30倍。卷积神经网络CNNCNN通过感受野和权值共享减少了神经网络需要训练的参数个数。普通神经网络和卷积神经网络的区别卷积多个卷积核...
2020-03-14 23:34:56
171
原创 TensorFlow学习DAY5tensorboard网络结构
首先对上一次的准确率进行提高代码如下：import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data#载入数据集mnist = input_data.read_data_sets("MNIST_data",one_hot=True)#每个批次的大小batch_size = 1...
2020-03-12 23:17:47
156
原创 TensorFlow学习DAY4拟合
拟合拟合：拟合是指逼近目标函数的远近程度。泛化：机器学习模型学到的概念在遇到新的数据时表现的好坏（预测准确度等）。分类欠拟合（Underfitting），模型拟合不够，在训练集（training set）上表现效果差，没有充分的利用数据，预测的准确度低。就是和样本点的分布存在很大误差，成因大多是模型不够复杂、拟合函数的能力不够。 正确拟合（Justright） 过拟合（Ove...
2020-03-09 00:30:50
156
原创 TensorFlow学习DAY4优化器
优化器各种优化器对比标准梯度下降法：先计算所有样本汇总误差，然后根据总误差来更新权值。 随机梯度下降法：随机抽取一个样本来计算误差，然后更新权值 批量梯度下降法：算是一种折中的方案，从总样本选取一个批次（比如一共有10000个样本，随机选取100个样本作为一个batch），然后计算这个batch的总误差，根据总误差来更新权值。下图为梯度下降法的运行方式W：要训练的参数J(...
2020-03-08 23:56:29
172
原创 TensorFlow学习DAY3二次代价函数和交叉熵函数
二次代价函数（quadraticcost）其中C表示代价函数，x表示样本，y表示实际值，a表示输出值，x表示样本的总数。为了简单起见，同样一个样本为例进行说明，此时二次代价函数为：假如我们使用梯度下降法（Gradientdescent）来调整权值参数的大小，权值w和偏置b的梯度推导如下：其中，z表示神经元的输入，表示激活函数。w和b的梯度跟激活函数的梯度成正比，激活函数...
2020-03-08 11:06:13
367
原创 TensorFlow学习DAY2之线性回归模型和MNIST数据集
线性回归模型基本要素 模型 https://blog.csdn.net/u014606206/article/details/80201658 模型训练及其三要素 训练数据 损失函数（lossfunction） 优化算法（梯度下降法） 模型预测 线性回归的实现 实现简单步骤：生成数据集->读取数据->定义模型->初始化模型参数-...
2020-03-04 20:56:06
607
原创 TensorFlow学习DAY1之基本概念和简单示例
Tensorflow基本概念TensorFlow程序通常被组织成一个构建图阶段和一个执行图阶段。①在构建阶段，数据与操作的执行步骤被描述成一个图(graphs)。②在执行阶段，使用会话(Session)执行构建好的图中的操作。使用图(graphs)来完成计算任务 在被称之为会话(Session)的上下文(context)中执行图 使用张量(tensor)表示数据 通过变量(V...
2020-03-03 17:02:08
163
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人