自定义博客皮肤VIP专享

*博客头图：

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览 取消 提交

自定义博客皮肤

-+
上一步保存

谢彦的技术博客

静心格物致知

我也要用
排序：
默认
按更新时间
按访问量
RSS订阅

原创 Pytorch避免更新模型梯度

1. torch.no_grad (1) 用法 with torch.no_grad(): 具体操作 (2) 说明 上例的“具体操作”中均不更新梯度，这样可以节约计算时间和内存。一般用于验证或者测试阶段。 2. param.requires_grad (1) 用法 p.req...

2020-05-21 13:34:24 24 0

原创 Pytorch提取不同层次图片的特征

下例使用torchvision库提取了resnet最后一层的卷积特征；resnet各block的卷积特性，以及金字塔特性。 具体取哪一层特征视使用场景而定，resnet各block的输出包含更丰富的特征；从resnet最后一层提取的特征更为抽象；fpn每层通道数相等，含义也类似，可以在多层之间比...

2020-05-21 11:20:19 24 0

原创 怎么看目标检测的效果

Recall&Precision 引用一个知乎上的例子：某池塘有1400条鲤鱼，300只虾，300只鳖。现在以捕鲤鱼为目的。撒一大网，逮着了700条鲤鱼，200只虾，100只鳖。那么，这些指标分别如下：正确率 Precision = 700 / (700 + 200 + 100) = 7...

2020-05-12 08:27:01 45 0

原创 调节学习率

在深度学习和其它一些循环迭代算法中，学习率都非常重要。在效率上，它几乎是与算力同等重要的因素；在效果上，它也决定着模型的准确率。如果设置太小，则收敛缓慢，也有可能收敛到局部最优解；设置太大又导致上下摆动，甚至无法收敛。 设定学习率 下面总结了设置学习率的一些方法： 理论上，如果将学习率调...

2020-04-25 13:58:10 226 0

原创 少儿Python编程_第十八讲 搭建网站

上一讲学习了编写网页代码的方法，到目前为止，创建的网页文件只能用浏览器打开。如果需要用同一网络中的其它电脑或者手机访问该页面，则需要搭建HTTP服务。 普通电脑上也可以搭建HTTP服务，成为小型的HTTP服务器，使用Python搭建HTTP服务非常简单，不需要额外安装软件，只要安装Python的...

2020-04-20 09:01:49 113 0

原创 用深度学习模型提取特征

用途 有时候需要从图片（或文本）中提取出数值型特征，供各种模型使用。深度学习模型不仅可以用于分类回归，还能用于提取特征。通常使用训练好的模型，输入图片，输出为提取到的特征向量。 加入特征之后，结果往往不尽如人意，大致有以下原因： 深度学习模型一般有N层结构，不能确定求取哪一层输出更合适。...

2020-04-17 20:20:12 264 0

原创 Pytorch_基于预训练的ResNet模型训练自己的分类器

1. 加载数据 import os import torch.utils.data as data import torch import torch.optim as optim import torch.nn as nn from torch.optim import lr_schedul...

2020-04-11 13:09:51 143 0

原创 论文检索

科学文献数据库：http://arxiv.org 查找arxiv上论文的工具：http://www.arxiv-sanity.com/, 可查找关键字相关的论文，并按时间远近排序，列表中也显示了introduce。 show similar可查找与之类似的论文（内部使用tf/idf方法实现...

2020-03-23 10:13:13 68 0

原创 实战文本分类对抗攻击

文章写得比较长，先列出大纲，以便读者直取重点。 “文本分类对抗攻击”是清华大学和阿里安全2020年2月举办的一场AI比赛，从开榜到比赛结束20天左右，内容是主办方在线提供1000条辱骂样本，参赛者用算法逐条扰动，使线上模型将其判别为非辱骂样本，尽量让扰动较小同时又保留辱骂性质（辱骂性质前期由...

2020-03-15 10:29:56 312 0

原创 Fasttext快速文本分类

Fasttext源于2016年的论文《Bag of Tricks for Efficient Text Classification》，论文地址：https://arxiv.org/pdf/1607.01759.pdf。论文非常短，加上References不过五页，Model architectu...

2020-03-15 09:54:33 89 0

原创 强化学习（一）基本概念和工具

引入 强化学习是与人类的学习最为相似的一种算法，它根据现有的经验和当前的环境做出预判，然后选择下一步的目标和行动。 强化学习、有监督学习、无监督学习，有着不同的方法和不同的使用场景。有监督学习适合解决具体而确定的，已知答案的问题，比如分类问题；无监督学习用于从大量数据中发现内在结构；而强化学习...

2020-03-13 20:08:50 96 0

原创 轻量级BERT模型ALBERT

BERT有很多改进版本，ALBERT是一个轻量化版本。ALBERT源自2020年的发表论文《ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS》，论文地址：https://arxiv.org/pd...

2020-03-13 12:16:01 153 0

原创 少儿Python编程_第十七讲：互联网和Web服务

现在人们每天都在使用网络，交通、住宿、购物、外出吃饭大多数都用手机操作，甚至很多人出门都不带钱包。如果家里断网，或者手机断网，那么用微信、看新闻、看视频、网购、手机支付都将无法使用。 网络到底是什么?每一台手机、电脑、以及远程的服务又是如何连接？如何传输数据？如何开发自己的网站，需要哪些技术？本...

2020-03-12 16:51:40 43 0

原创 序列对抗网络SeqGAN

SeqGAN源自2016年的论文《SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient》，论文地址：https://arxiv.org/pdf/1609.05473.pdf。其核心是用生成对抗网络处理离散的序列数据。 ...

2020-03-12 15:50:09 293 0

原创 梯度攻击

模型攻击主要指人为地制造干扰迷惑模型，使之产生错误的结果。随着深度学习模型的广泛使用，人们发现它很容易被数据的轻微扰动所欺骗，于是开始寻找更加有效的攻击方法，针对攻击又有对抗攻击的方法，二者相互推进，不仅加强了模型的健壮性，有时还能提升模型的准确度。 原理 想让攻击更加有效，导致模型分类错误，...

2020-03-11 10:23:53 216 0

原创 自然语言处理——使用词向量（腾讯词向量）

向量化是使用一套统一的标准打分，比如填写表格：年龄、性别、性格、学历、经验、资产列表，并逐项打分，分数范围[-1,1]，用一套分值代表一个人，就叫作向量化，虽然不能代表全部，但至少是个量度。因此，可以说，万物皆可向量化。 词向量 同理，词也可以向量化word2vec（word to vecto...

2020-03-08 17:49:14 368 0

原创 少儿Python编程_第十六讲：图形界面开发

运行在计算机上的程序一般分为命令行程序和图形界面程序，例如：安装Python三方模块的pip命令，软件版本管理的git命令等都属于命令行程序；而大多数软件使用图形界面，例如Windows的Word，Excel，画图等等软件都是图形化用户界面，简称GUI。 在图形化用户界面中，用户可以用鼠标操作菜...

2020-02-18 14:38:15 136 0

原创 生成对抗网络GAN

生成对抗网络GAN是一种深度学习模型，它源于2014年发表的论文：《Generative Adversarial Nets》，论文地址：https://arxiv.org/pdf/1406.2661.pdf。 GAN的用途非常广泛，比如：有大量的卡通头像，想通过学习自动生成卡通图片，此问题只提供...

2020-02-13 16:26:10 126 0

原创 NLP模型应用之三：GPT与GPT-2

GPT模型 GPT全称Generative Pre-Training，出自2018年OpenAi发布的论文《Improving Language Understandingby Generative Pre-Training》，论文地址：https://www.cs.ubc.ca/~amuham...

2020-02-12 14:16:19 258 0

原创 NLP模型应用之二：BERT

引入 BERT是谷歌在2018年10月发布的自然语言处理模型，它在十一项自然语言任务中打破记录，在有些任务中有显著提高，并超越了人类水平，被誉为开启了NLP的新时代。虽然，在之后又出现了大量新算法，这两年BERT仍然是各大比赛以及产品中的主流算法。论文地址：https://arxiv.org/p...

2020-02-06 18:01:47 401 0

原创 NLP模型应用之一：基础知识

引入 2018年底发布的BERT模型和2019年初发布的GPT-2模型，开始挑战人类的语言处理能力。二者都基于之前介绍过的Transformer基础模型。 对模型的研究有几个层次：研究基础模型、扩展模型、应用模型 研究基础模型 我们熟知的卷积神经网络CNN，循环神经网络RNN，Trans...

2020-01-31 15:29:02 114 0

原创 Transformer-XL框架

引入 Transformer-XL超长上下文的注意力模型，出自CMU和Google Brain在2019年1月发表的论文：《Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context》。其中XL是extra lo...

2020-01-31 14:53:14 191 0

原创 国产的自然语言处理框架ERNIE

看到题目是否引发一些刻板印象？国产的自然语言处理，主要是用于处理中文？有没有用到最前沿的技术？是不是只提供服务，里面是黑盒？是否全面开源并提供模型？平台是否通用？本文将为您一一解答。 ERNIE是继BERT，ELMo之后又一个以芝麻街人物命名的自然语言模型。ERNIE全称 Enhanced La...

2020-01-07 14:21:27 119 0

原创 定向写作模型CTRL

介绍 CTRL全称为Conditional Transformer Language有条件的文本生成模型，它始于Salesforce在2019年发布的论文《A Conditional Transformer Language Model for Controllable Generation》，...

2020-01-03 13:55:57 210 0

原创 Pytorch_Transformer框架

Transformer是Google团队在 2017 年提出的自然语言处理（NLP）框架，也是截至目前，最主流的NLP框架。BERT、GPT-2都是基于该模型的变形和扩展。 Transformer的具体算法在论文《Attention Is All You Need》中描述。论文中展示了该模型的训...

2019-12-25 20:03:40 244 0

原创 Pytorch_Seq2Seq与Attention

自然语言处理是典型的序列问题，其底层算法在最近几年迅速发展，比如去年年底发布的BERT在11项自然语言处理任务中表现卓越，今年GPT-2生成文本（写作）的水平也有了显著提高。 目前这些最先进的技术都基于Transformer模型，该模型从RNN，LSTM，Seq2Seq，Attention，Co...

2019-12-18 11:16:38 72 0

原创 Pytorch_LSTM与GRU

RNN循环网络在序列问题处理中得到了广泛的应用。但使用标准版本的RNN模型时，常遇到梯度消失gradient vanishing和梯度爆炸gradient explosion问题。 RNN的缺点 RNN的梯度消失和梯度爆炸不同于其它网络，全连接网络和卷积网络每一层有不同参数，而RNN 的每个处...

2019-12-11 14:18:53 250 0

原创 Pytorch_循环神经网络RNN

RNN是Recurrent Neural Networks的缩写，即循环神经网络，它常用于解决序列问题。RNN有记忆功能，除了当前输入，还把上下文环境作为预测的依据。它常用于语音识别、翻译等场景之中。 RNN是序列模型的基础，尽管能够直接调用现成的RNN算法，但后续的复杂网络很多构建在RNN网络...

2019-12-06 17:33:10 111 0

原创 Pytorch全连接网络

本篇开始学习搭建真正的神经网络，前一部分讨论深度学习中预处理数据的基本流程；后一部分构建了两种全连接网络，用三种不同方案拟合时序数据；并在例程中详细分析误差函数，优化器，网络调参，以及数据反向求导的过程。 数据预处理 本篇使用航空乘客数据AirPassengers.csv，其中包括从1949-...

2019-11-29 19:55:34 168 0

原创 Pytorch_数据基础

机器学习需要掌握数据处理工具Pandas、Numpy，同理，深度学习也需要掌握相应的数据处理工具，在Pytorch中数据存储在张量Tensor和变量Variable之中，本篇将介绍它们的基本用法以及与之相关的常用函数。 掌握必要的基础知识，让后期看代码更加流畅，避免陷入太多细节。 Tensor...

2019-11-28 16:50:29 35 0

原创 残差网络ResNet代码解读

残差网络效果 卷积神经网络CNN的发展历史如图所示： 从起初AlexNet的的8层网络，到ResNet的152层网络，层数逐步增加。当网络层数增加到一定程度之后，错误率反而上升，其原因是层数太多梯度下降变得越发困难。而ResNet解决了这一问题。 目前ResNet是应用最广的图像相关深度...

2019-11-25 09:30:09 447 0

原创 华为手机开启adb调试模式

手机 Honor 6x，界面版本 EMUI 8.0.0 1. 在设置->系统->关于手机，连续按几次"版本号" (注意: 在学生模式下不能使用) 2. 退到上一层，出现“开发人员选项”（与“关于手机”并列） 3. 选中“开发者选项”，选中“仅充电模式下允许AD...

2019-10-28 11:48:39 4188 0

原创 华为手机安装英文TTS

想读个英文文档，用讯飞读英文，效果实在是…… 在应用汇下载安装 Google TTS（华为软件商店里没有），软件被安装到系统中，位置在： 设置->智能辅助->无障碍->文字转语言(TTS)输出->Google文字转语音引擎。 就可以正常使用了。 ...

2019-10-28 11:39:33 189 0

原创 Pytorch初探

什么是Pytorch Facebook的Pytorch和Google 的TensorFlow一样，也是一款深度学习库，TensorFlow主要应用于工业生产领域之中，GitHub上的深度学习工具也多基于TensorFlow；而Pytorch在研究领域被广泛使用，越来越多的论文和新技术都基于Pyt...

2019-10-24 17:56:12 185 0

原创 Python声音和弹框提示

写后台监控程序，有时需要响铃或弹框提示用户。下面介绍Python在Linux系统中的提示方法 ： 1. 使用系统工具paplay播放当前目录下的音效文件ring.wav实现响铃 2. 用tkinter界面工具实现弹框 import tkinter as tk import os def ...

2019-10-10 11:12:17 191 0

原创 Ubuntu下使用星际译王字典

相关工具安装 $ sudo apt-get install stardict-gtk # 图形化工具 $ sudo apt-get install sdcv # 命令行工具 星际译王字典下载 http://download.huzheng.org/ 解包后安装 $ tar xvjf s...

2019-10-10 11:11:06 32 0

原创 Python量化交易之四_聚宽数据

介绍 之前测试过一些免费API，比如tushare现在只能下载两年半数据，163有的股票数据无法下载，pandas_reader速度很慢，并且只能下载A股的各股数据，对基金和指数支持不佳。这两天尝试了聚宽平台提供的API，它提供的功能基本够用，总结如下。 聚宽平台提供自2005年至今的股票相关...

2019-09-27 08:50:59 458 0

原创 Python对网页内容作词云图分析

在线生成词云图 WordArt 定制性比较强，支持中文，但是图中的词需要手动输入。https://wordart.com/ 图悦 支持分析大段文字并生成词云图，但是功能相对比较简单。http://www.picdata.cn/picdata/index.php Python生成词云图...

2019-09-26 14:20:27 104 0

原创 智力&努力？

 昨天听了一个笑话：“有时候越努力越心酸，这么努力都输啦，那是不是智力有问题呀？”成功的时候怎么归因都问题不大，可如果把失败归因成不可改变的智力原因，可能连希望都破灭了。  什么是智力，或者说能力？当知识、习惯、性格、状态全部夹杂在一起时，就没法简单地解释，于是用“天赋”、“命运”来解释人与人之...

2019-09-09 09:44:05 87 0

原创 码字的注意事项

 写实用技能类文档和工具书，踩过的一些坑，记录下来，也给需要写文章的朋友们做个参考，写完检查一下，减少编辑的工作量，也省得自己反复修改，减少沟通成本。总结如下： 1. 内容  内容实用，有实例，大白话，写出读者痛点。 (1) 确定针对读者群体  不存在上下通吃的文章，需要确定主要的读者群体...

2019-09-03 13:20:19 77 0

提示
确定要删除当前文章？
取消 删除