机器学习
文章平均质量分 53
Nick_Spider
GitHub -> https://github.com/nickliqian
展开
-
《动手学深度学习》分别使用残差和VGG训练fashion-mnist分类模型
图片数据集:fashion-mnist下载地址:https://pan.baidu.com/s/1AepwYqg_wQhy9y2S4vkL5Q 密码:aqq3预览:导入包import osimport sysimport timeimport mathimport torchfrom torch import nn, optimimport torch.nn.functi...原创 2020-03-01 20:31:01 · 1644 阅读 · 2 评论 -
《动手学深度学习》图像增广(数据增强)
图像增广图像增广(image augmentation)技术通过对训练图像做一系列随机改变,来产生相似但又不同的训练样本,从而扩大训练数据集的规模。其优点在于通过随机改变训练样本可以降低模型对某些属性的依赖,从而提高模型的泛化能力。例如:对图像进行不同方式的裁剪,使感兴趣的物体出现在不同位置,从而减轻模型对物体出现位置的依赖性。可以调整亮度、色彩等因素来降低模型对色彩的敏感度。常用...原创 2020-02-25 18:23:29 · 2010 阅读 · 1 评论 -
《动手学深度学习》卷积神经网络LeNet
pytorch版卷积神经网络实现import sysimport torchimport torch.nn as nnimport torch.optim as optimimport timeimport torchvision# netclass Flatten(torch.nn.Module): # 展平操作 def forward(self, x): ...原创 2020-02-18 21:30:48 · 365 阅读 · 0 评论 -
《动手学深度学习》循环神经网络
pytorch版循环神经网络实现import torchimport torch.nn as nnimport timeimport mathimport sysdef load_data_jay_lyrics(): """加载周杰伦歌词数据集""" with open('/Users/nick/Documents/dataset/jaychou_lyrics.tx...原创 2020-02-18 20:56:43 · 341 阅读 · 3 评论 -
《动手学深度学习》梯度爆炸、梯度消失、过拟合、欠拟合
梯度消失和梯度爆炸深度模型有关数值稳定性的典型问题是消失(vanishing)和爆炸(explosion)。当神经网络的层数较多时,模型的数值稳定性容易变差。假设一个层数为LLL的多层感知机的第lll层H(l)\boldsymbol{H}^{(l)}H(l)的权重参数为W(l)\boldsymbol{W}^{(l)}W(l),输出层H(L)\boldsymbol{H}^{(L)}H(L)的权...原创 2020-02-18 20:22:09 · 279 阅读 · 0 评论 -
《动手学深度学习》多层感知机
隐藏层多层感知机含有一个隐藏层,以下是一种含单隐藏层的多层感知机的设计,其输出O∈Rn×q\boldsymbol{O} \in \mathbb{R}^{n \times q}O∈Rn×q的公式为:H=XWh+bh,O=HWo+bo, \begin{aligned} \boldsymbol{H} &= \boldsymbol{X} \boldsymbol{W}_h + \boldsy...原创 2020-02-18 19:54:16 · 294 阅读 · 0 评论 -
《动手学深度学习》学习pytorch之softmax实现、FashionMNIST数据集训练
本文介绍以下几点:softmax从零实现softmax的简洁实现softmax从零实现导入包# import needed package%matplotlib inlinefrom IPython import displayimport matplotlib.pyplot as pltimport torchimport torchvisionimport torc...原创 2020-02-14 21:05:56 · 1252 阅读 · 0 评论 -
《动手学深度学习》学习pytorch之线性回归
本节主要讲解如下几点:pytorch的基本使用从零实现线性回归模型– 模型– 损失函数– 优化函数(随机梯度下降)线性回归模型基于pytorch的简洁实现pytorch相关的几个问题pytorch的基本使用创建矢量也可以叫沿用tensorflow的说法叫做张量import torchimport time# init variable a, b as 1000 di...原创 2020-02-14 20:31:05 · 290 阅读 · 0 评论 -
使用信用卡数据开发信贷评分卡
import pandas as pdimport numpy as npfrom sklearn.linear_model import LogisticRegressionfrom sklearn.model_selection import train_test_splitfrom sklearn import metricsimport matplotlib.pyplot as ...原创 2019-11-30 23:16:04 · 332 阅读 · 0 评论 -
(转)导数、偏导数、方向导数、梯度、梯度下降概念和解释
转自:https://www.cnblogs.com/lingjiajun/p/9895753.html前言 机器学习中的大部分问题都是优化问题,而绝大部分优化问题都可以使用梯度下降法处理,那么搞懂什么是梯度,什么是梯度下降法就非常重要!这是基础中的基础,也是必须掌握的概念! 提到梯度,就必须从导数(derivative)、偏导数(partial derivative)和方向导数(dir...原创 2019-08-30 09:57:29 · 4735 阅读 · 1 评论 -
使用Python建立市民个人收入评分卡(二)
5 连续型变量自动分箱在评分卡建模过程中,数据中的连续型变量需要进行分箱,用于计算woe值。这里使用卡方分箱进行分箱# 卡方分箱def Chi_merge(X, y, columns, k=6): item = dict() pinf = float('inf') # 正无穷大 ninf = float('-inf') # 负无穷大 # 需要选取连续变量...原创 2019-08-29 16:24:54 · 326 阅读 · 0 评论 -
使用Python建立市民个人收入评分卡(一)
0 目标使用预测市民是否属于高收入群体数据集,制作市民个人收入评分机制(评分卡)。评分越高说明该市民属于高收入群体的可能性越大。1 数据概览字段不多,连续型变量有5个,离散变量有8个,Y值是二分类,1代表属于高收入群体,0代表不是高收入群体。# 连续型变量col_values = ["年龄", "工作天数", "投资收入", "投资损失", "教育时间"]# 离散型变量col_l...原创 2019-08-29 15:53:17 · 584 阅读 · 1 评论 -
基于tensorflow使用RNN识别手写数字
基于tensorflow使用RNN识别手写数字,注释比较详细。另外我使用同样的代码训练多位验证码,每次预测的结果都是同样一组数字,无法成功训练出可以使用的模型,有了解相关内容的同学可以交流一下。import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datafrom tensorflow.co...原创 2019-07-31 20:23:19 · 415 阅读 · 0 评论 -
深度学习之收敛问题
原答案地址:https://www.zhihu.com/question/33505655 不过答案目前已经被删除了,所以没有图… 本文文字摘自:https://blog.csdn.net/xlbryant/article/details/48470987 1.数据库太小一般不会带来不收敛的问题,只要你一直在train总会收敛(rp问题跑飞了不算)。反而不收敛一般是由于样本的信息量太大...原创 2018-08-29 10:26:57 · 2900 阅读 · 0 评论 -
BP神经网络基于Tensorflow的实现(代码注释详细)
BP(back propagation)神经网络是1986年由Rumelhart和McClelland为首的科学家提出的概念,是一种按照误差逆向传播算法训练的多层前馈神经网络,是目前应用最广泛的神经网络。在一般的BP神经网络中,单个样本有m个输入和n个输出,在输入层和输出层之间还有若干个隐藏层h,实际上 1989年时就已经有人证明了一个万能逼近定理 : 在任何闭区间的连续函数...原创 2018-08-29 15:23:45 · 20471 阅读 · 3 评论 -
Darknet+YOLO的安装和测试指南
Darknet是Joseph维护的开源的神经网络框架,使用C语言编写。官网地址Darknet快速,易于安装,同时支持CPU和GPU计算。项目源码可以在github pjreddie/darknet 看到。1 初步使用darknet进行预测1.1 安装框架git clone https://github.com/pjreddie/darknet.git# 以上是官方推荐的方式。有的同学...原创 2018-10-11 23:37:30 · 9201 阅读 · 9 评论 -
图像识别-图片和验证码标注工具
这里列出几种图像标注工具tzutalin/labelImgAlexeyAB/Yolo_markpuzzledqs/BBox-Label-Toollanbing510/ImageLabelliulei01/DRBox原创 2018-10-04 23:32:19 · 2306 阅读 · 0 评论 -
解决yolov3中darknet.py预测位置不准和使用python3执行报错的问题
本文总结了使用yolo过程中出现的一些问题,在网络上找到了相关的解决方案。1 使用darknet.py预测位置不准1.1 使用python调用darknet一般来说,模型训练好了,也可以使用shell命令进行预测了,下一步该在业务里面使用别的语言来调用了,我们这里使用python来调用yolo模型。为了提高识别效率,当然不能直接在python里面来调用shell,这样的话每次调用都会重新加...原创 2018-11-10 18:04:08 · 5717 阅读 · 0 评论 -
理解TensorFlow的Graph和Session
当我们import tensorflow的时候,就已经创建了一个默认的图了。import tensorflow as tfprint(tf.get_default_graph())$ result:<tensorflow.python.framework.ops.Graph object at 0x7fe0ae6b2208>有新的操作,默认添加到默认图中impor...原创 2018-12-06 19:06:21 · 883 阅读 · 0 评论 -
使用tensorflow和cnn(卷积神经网络)识别验证码并构建API
cnn_captchause CNN recognize captcha by tensorflow.本项目针对字符型图片验证码,使用tensorflow实现卷积神经网络,进行验证码识别。项目封装了比较通用的校验、训练、验证、识别、API模块,极大的减少了识别字符型验证码花费的时间和精力。项目已经帮助很多同学高效完成了验证码识别任务。如果你在使用过程中出现了bug和做了良好的改进,欢迎提...原创 2019-03-21 22:56:23 · 4886 阅读 · 1 评论 -
使用darknet识别点选验证码详细过程(附带源码)
项目源码:https://github.com/nickliqian/darknet_captchadarknet_captcha项目基于darknet开发了一系列的快速启动脚本,旨在让图像识别新手或者开发人员能够快速的启动一个目标检测(定位)的项目。如果有没有讲清楚的地方,欢迎提issue和PR,希望能和大家共同完善!本项目分为两个部分:提供两个目标检测(单分类和多分类点选验证码)的...原创 2019-03-21 23:06:33 · 7224 阅读 · 1 评论 -
TensorFlow的GPU支持
python libpip install tensorflow-gpu # stablepip install tf-nightly-gpu # preview硬件要求需要CUDA® 计算能力为 3.5 或更高的 NVIDIA® GPU 卡。可以从支持 CUDA 的 GPU 卡中查阅。例如我有一张GPU的计算能力是2.0,就不能支持TensorFlow使用GPU。软件要求必...原创 2019-04-10 09:36:02 · 1247 阅读 · 0 评论