自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

谢彦的技术博客

静心格物致知

原创 Pytorch避免更新模型梯度

1. torch.no_grad (1) 用法 with torch.no_grad(): 具体操作 (2) 说明 上例的“具体操作”中均不更新梯度,这样可以节约计算时间和内存。一般用于验证或者测试阶段。 2. param.requires_grad (1) 用法 p.req...

2020-05-21 13:34:24 24 0

原创 Pytorch提取不同层次图片的特征

下例使用torchvision库提取了resnet最后一层的卷积特征;resnet各block的卷积特性,以及金字塔特性。 具体取哪一层特征视使用场景而定,resnet各block的输出包含更丰富的特征;从resnet最后一层提取的特征更为抽象;fpn每层通道数相等,含义也类似,可以在多层之间比...

2020-05-21 11:20:19 24 0

原创 怎么看目标检测的效果

Recall&Precision 引用一个知乎上的例子:某池塘有1400条鲤鱼,300只虾,300只鳖。现在以捕鲤鱼为目的。撒一大网,逮着了700条鲤鱼,200只虾,100只鳖。那么,这些指标分别如下:正确率 Precision = 700 / (700 + 200 + 100) = 7...

2020-05-12 08:27:01 45 0

原创 调节学习率

在深度学习和其它一些循环迭代算法中,学习率都非常重要。在效率上,它几乎是与算力同等重要的因素;在效果上,它也决定着模型的准确率。如果设置太小,则收敛缓慢,也有可能收敛到局部最优解;设置太大又导致上下摆动,甚至无法收敛。 设定学习率 下面总结了设置学习率的一些方法: 理论上,如果将学习率调...

2020-04-25 13:58:10 226 0

原创 少儿Python编程_第十八讲 搭建网站

上一讲学习了编写网页代码的方法,到目前为止,创建的网页文件只能用浏览器打开。如果需要用同一网络中的其它电脑或者手机访问该页面,则需要搭建HTTP服务。 普通电脑上也可以搭建HTTP服务,成为小型的HTTP服务器,使用Python搭建HTTP服务非常简单,不需要额外安装软件,只要安装Python的...

2020-04-20 09:01:49 113 0

原创 用深度学习模型提取特征

用途 有时候需要从图片(或文本)中提取出数值型特征,供各种模型使用。深度学习模型不仅可以用于分类回归,还能用于提取特征。通常使用训练好的模型,输入图片,输出为提取到的特征向量。 加入特征之后,结果往往不尽如人意,大致有以下原因: 深度学习模型一般有N层结构,不能确定求取哪一层输出更合适。...

2020-04-17 20:20:12 264 0

原创 Pytorch_基于预训练的ResNet模型训练自己的分类器

1. 加载数据 import os import torch.utils.data as data import torch import torch.optim as optim import torch.nn as nn from torch.optim import lr_schedul...

2020-04-11 13:09:51 143 0

原创 论文检索

科学文献数据库:http://arxiv.org 查找arxiv上论文的工具:http://www.arxiv-sanity.com/, 可查找关键字相关的论文,并按时间远近排序,列表中也显示了introduce。 show similar可查找与之类似的论文(内部使用tf/idf方法实现...

2020-03-23 10:13:13 68 0

原创 实战文本分类对抗攻击

文章写得比较长,先列出大纲,以便读者直取重点。 “文本分类对抗攻击”是清华大学和阿里安全2020年2月举办的一场AI比赛,从开榜到比赛结束20天左右,内容是主办方在线提供1000条辱骂样本,参赛者用算法逐条扰动,使线上模型将其判别为非辱骂样本,尽量让扰动较小同时又保留辱骂性质(辱骂性质前期由...

2020-03-15 10:29:56 312 0

原创 Fasttext快速文本分类

Fasttext源于2016年的论文《Bag of Tricks for Efficient Text Classification》,论文地址:https://arxiv.org/pdf/1607.01759.pdf。论文非常短,加上References不过五页,Model architectu...

2020-03-15 09:54:33 89 0

原创 强化学习(一)基本概念和工具

引入 强化学习是与人类的学习最为相似的一种算法,它根据现有的经验和当前的环境做出预判,然后选择下一步的目标和行动。 强化学习、有监督学习、无监督学习,有着不同的方法和不同的使用场景。有监督学习适合解决具体而确定的,已知答案的问题,比如分类问题;无监督学习用于从大量数据中发现内在结构;而强化学习...

2020-03-13 20:08:50 96 0

原创 轻量级BERT模型ALBERT

BERT有很多改进版本,ALBERT是一个轻量化版本。ALBERT源自2020年的发表论文《ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS》,论文地址:https://arxiv.org/pd...

2020-03-13 12:16:01 153 0

原创 少儿Python编程_第十七讲:互联网和Web服务

现在人们每天都在使用网络,交通、住宿、购物、外出吃饭大多数都用手机操作,甚至很多人出门都不带钱包。如果家里断网,或者手机断网,那么用微信、看新闻、看视频、网购、手机支付都将无法使用。 网络到底是什么?每一台手机、电脑、以及远程的服务又是如何连接?如何传输数据?如何开发自己的网站,需要哪些技术?本...

2020-03-12 16:51:40 43 0

原创 序列对抗网络SeqGAN

SeqGAN源自2016年的论文《SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient》,论文地址:https://arxiv.org/pdf/1609.05473.pdf。其核心是用生成对抗网络处理离散的序列数据。 ...

2020-03-12 15:50:09 293 0

原创 梯度攻击

模型攻击主要指人为地制造干扰迷惑模型,使之产生错误的结果。随着深度学习模型的广泛使用,人们发现它很容易被数据的轻微扰动所欺骗,于是开始寻找更加有效的攻击方法,针对攻击又有对抗攻击的方法,二者相互推进,不仅加强了模型的健壮性,有时还能提升模型的准确度。 原理 想让攻击更加有效,导致模型分类错误,...

2020-03-11 10:23:53 216 0

原创 自然语言处理——使用词向量(腾讯词向量)

向量化是使用一套统一的标准打分,比如填写表格:年龄、性别、性格、学历、经验、资产列表,并逐项打分,分数范围[-1,1],用一套分值代表一个人,就叫作向量化,虽然不能代表全部,但至少是个量度。因此,可以说,万物皆可向量化。 词向量 同理,词也可以向量化word2vec(word to vecto...

2020-03-08 17:49:14 368 0

原创 少儿Python编程_第十六讲:图形界面开发

运行在计算机上的程序一般分为命令行程序和图形界面程序,例如:安装Python三方模块的pip命令,软件版本管理的git命令等都属于命令行程序;而大多数软件使用图形界面,例如Windows的Word,Excel,画图等等软件都是图形化用户界面,简称GUI。 在图形化用户界面中,用户可以用鼠标操作菜...

2020-02-18 14:38:15 136 0

原创 生成对抗网络GAN

生成对抗网络GAN是一种深度学习模型,它源于2014年发表的论文:《Generative Adversarial Nets》,论文地址:https://arxiv.org/pdf/1406.2661.pdf。 GAN的用途非常广泛,比如:有大量的卡通头像,想通过学习自动生成卡通图片,此问题只提供...

2020-02-13 16:26:10 126 0

原创 NLP模型应用之三:GPT与GPT-2

GPT模型 GPT全称Generative Pre-Training,出自2018年OpenAi发布的论文《Improving Language Understandingby Generative Pre-Training》,论文地址:https://www.cs.ubc.ca/~amuham...

2020-02-12 14:16:19 258 0

原创 NLP模型应用之二:BERT

引入 BERT是谷歌在2018年10月发布的自然语言处理模型,它在十一项自然语言任务中打破记录,在有些任务中有显著提高,并超越了人类水平,被誉为开启了NLP的新时代。虽然,在之后又出现了大量新算法,这两年BERT仍然是各大比赛以及产品中的主流算法。论文地址:https://arxiv.org/p...

2020-02-06 18:01:47 401 0

原创 NLP模型应用之一:基础知识

引入 2018年底发布的BERT模型和2019年初发布的GPT-2模型,开始挑战人类的语言处理能力。二者都基于之前介绍过的Transformer基础模型。 对模型的研究有几个层次:研究基础模型、扩展模型、应用模型 研究基础模型 我们熟知的卷积神经网络CNN,循环神经网络RNN,Trans...

2020-01-31 15:29:02 114 0

原创 Transformer-XL框架

引入 Transformer-XL超长上下文的注意力模型,出自CMU和Google Brain在2019年1月发表的论文:《Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context》。其中XL是extra lo...

2020-01-31 14:53:14 191 0

原创 国产的自然语言处理框架ERNIE

看到题目是否引发一些刻板印象?国产的自然语言处理,主要是用于处理中文?有没有用到最前沿的技术?是不是只提供服务,里面是黑盒?是否全面开源并提供模型?平台是否通用?本文将为您一一解答。 ERNIE是继BERT,ELMo之后又一个以芝麻街人物命名的自然语言模型。ERNIE全称 Enhanced La...

2020-01-07 14:21:27 119 0

原创 定向写作模型CTRL

介绍 CTRL全称为Conditional Transformer Language有条件的文本生成模型,它始于Salesforce在2019年发布的论文《A Conditional Transformer Language Model for Controllable Generation》,...

2020-01-03 13:55:57 210 0

原创 Pytorch_Transformer框架

Transformer是Google团队在 2017 年提出的自然语言处理(NLP)框架,也是截至目前,最主流的NLP框架。BERT、GPT-2都是基于该模型的变形和扩展。 Transformer的具体算法在论文《Attention Is All You Need》中描述。论文中展示了该模型的训...

2019-12-25 20:03:40 244 0

原创 Pytorch_Seq2Seq与Attention

自然语言处理是典型的序列问题,其底层算法在最近几年迅速发展,比如去年年底发布的BERT在11项自然语言处理任务中表现卓越,今年GPT-2生成文本(写作)的水平也有了显著提高。 目前这些最先进的技术都基于Transformer模型,该模型从RNN,LSTM,Seq2Seq,Attention,Co...

2019-12-18 11:16:38 72 0

原创 Pytorch_LSTM与GRU

RNN循环网络在序列问题处理中得到了广泛的应用。但使用标准版本的RNN模型时,常遇到梯度消失gradient vanishing和梯度爆炸gradient explosion问题。 RNN的缺点 RNN的梯度消失和梯度爆炸不同于其它网络,全连接网络和卷积网络每一层有不同参数,而RNN 的每个处...

2019-12-11 14:18:53 250 0

原创 Pytorch_循环神经网络RNN

RNN是Recurrent Neural Networks的缩写,即循环神经网络,它常用于解决序列问题。RNN有记忆功能,除了当前输入,还把上下文环境作为预测的依据。它常用于语音识别、翻译等场景之中。 RNN是序列模型的基础,尽管能够直接调用现成的RNN算法,但后续的复杂网络很多构建在RNN网络...

2019-12-06 17:33:10 111 0

原创 Pytorch全连接网络

本篇开始学习搭建真正的神经网络,前一部分讨论深度学习中预处理数据的基本流程;后一部分构建了两种全连接网络,用三种不同方案拟合时序数据;并在例程中详细分析误差函数,优化器,网络调参,以及数据反向求导的过程。 数据预处理 本篇使用航空乘客数据AirPassengers.csv,其中包括从1949-...

2019-11-29 19:55:34 168 0

原创 Pytorch_数据基础

机器学习需要掌握数据处理工具Pandas、Numpy,同理,深度学习也需要掌握相应的数据处理工具,在Pytorch中数据存储在张量Tensor和变量Variable之中,本篇将介绍它们的基本用法以及与之相关的常用函数。 掌握必要的基础知识,让后期看代码更加流畅,避免陷入太多细节。 Tensor...

2019-11-28 16:50:29 35 0

原创 残差网络ResNet代码解读

残差网络效果 卷积神经网络CNN的发展历史如图所示: 从起初AlexNet的的8层网络,到ResNet的152层网络,层数逐步增加。当网络层数增加到一定程度之后,错误率反而上升,其原因是层数太多梯度下降变得越发困难。而ResNet解决了这一问题。 目前ResNet是应用最广的图像相关深度...

2019-11-25 09:30:09 447 0

原创 华为手机开启adb调试模式

手机 Honor 6x,界面版本 EMUI 8.0.0 1. 在设置->系统->关于手机,连续按几次"版本号" (注意: 在学生模式下不能使用) 2. 退到上一层,出现“开发人员选项”(与“关于手机”并列) 3. 选中“开发者选项”,选中“仅充电模式下允许AD...

2019-10-28 11:48:39 4188 0

原创 华为手机安装英文TTS

想读个英文文档,用讯飞读英文,效果实在是…… 在应用汇下载安装 Google TTS(华为软件商店里没有),软件被安装到系统中,位置在: 设置->智能辅助->无障碍->文字转语言(TTS)输出->Google文字转语音引擎。 就可以正常使用了。 ...

2019-10-28 11:39:33 189 0

原创 Pytorch初探

什么是Pytorch Facebook的Pytorch和Google 的TensorFlow一样,也是一款深度学习库,TensorFlow主要应用于工业生产领域之中,GitHub上的深度学习工具也多基于TensorFlow;而Pytorch在研究领域被广泛使用,越来越多的论文和新技术都基于Pyt...

2019-10-24 17:56:12 185 0

原创 Python声音和弹框提示

写后台监控程序,有时需要响铃或弹框提示用户。下面介绍Python在Linux系统中的提示方法 : 1. 使用系统工具paplay播放当前目录下的音效文件ring.wav实现响铃 2. 用tkinter界面工具实现弹框 import tkinter as tk import os def ...

2019-10-10 11:12:17 191 0

原创 Ubuntu下使用星际译王字典

相关工具安装 $ sudo apt-get install stardict-gtk # 图形化工具 $ sudo apt-get install sdcv # 命令行工具 星际译王字典下载 http://download.huzheng.org/ 解包后安装 $ tar xvjf s...

2019-10-10 11:11:06 32 0

原创 Python量化交易之四_聚宽数据

介绍 之前测试过一些免费API,比如tushare现在只能下载两年半数据,163有的股票数据无法下载,pandas_reader速度很慢,并且只能下载A股的各股数据,对基金和指数支持不佳。这两天尝试了聚宽平台提供的API,它提供的功能基本够用,总结如下。 聚宽平台提供自2005年至今的股票相关...

2019-09-27 08:50:59 458 0

原创 Python对网页内容作词云图分析

在线生成词云图 WordArt 定制性比较强,支持中文,但是图中的词需要手动输入。https://wordart.com/ 图悦 支持分析大段文字并生成词云图,但是功能相对比较简单。http://www.picdata.cn/picdata/index.php Python生成词云图...

2019-09-26 14:20:27 104 0

原创 智力&努力?

 昨天听了一个笑话:“有时候越努力越心酸,这么努力都输啦,那是不是智力有问题呀?”成功的时候怎么归因都问题不大,可如果把失败归因成不可改变的智力原因,可能连希望都破灭了。  什么是智力,或者说能力?当知识、习惯、性格、状态全部夹杂在一起时,就没法简单地解释,于是用“天赋”、“命运”来解释人与人之...

2019-09-09 09:44:05 87 0

原创 码字的注意事项

 写实用技能类文档和工具书,踩过的一些坑,记录下来,也给需要写文章的朋友们做个参考,写完检查一下,减少编辑的工作量,也省得自己反复修改,减少沟通成本。总结如下: 1. 内容  内容实用,有实例,大白话,写出读者痛点。 (1) 确定针对读者群体  不存在上下通吃的文章,需要确定主要的读者群体...

2019-09-03 13:20:19 77 0

提示
确定要删除当前文章?
取消 删除