- 博客(38)
- 收藏
- 关注
RSS订阅原创 深度学习之目标检测（五）—— DSSD & DSOD & FSSD & RSSD
DSSD算法2017年CVPR，WeiLiu提出的SSD算法对小目标不够鲁棒的最主要原因是浅层feature map的表征能力不够强网络结构DSSD vs SSDDSOD算法2017年ICCV提出的，SSD+DenseNet = DSODDSOD可以从0开始训练数据，不需要预训练模型，而且效果可以和fine-tune的模型媲美DSOD设计原则DSOD性能...
2020-06-30 08:49:23
7183
原创 深度学习之目标检测（四）—— SSD算法
SSD算法SSD, Single Shot MultiBox Detector(one-stage)，Wei Liu在ECCV 2016上提出的一种目标检测算法算法特点直接回归目标类别和位置 不同尺度的特征图上进行预测 端到端的训练 图像分别率比较低，也能保证检测的精度SSD网络结构主干网络：VGGNet最后通过NMS算法对检测结果进行合并和筛选主干网络介绍原作者采用的是vgg，但我们也可以采用resnet、mobilenet等网络结构FC层即全...
2020-06-29 15:48:21
1431
原创 Python包中 __init__.py 文件的作用
__init__.py 文件的作用是将文件夹变为一个Python模块,Python 中的每个模块的包中，都有__init__.py 文件。通常__init__.py 文件为空，但是我们还可以为它增加其他的功能。我们在导入一个包时，实际上是导入了它的__init__.py文件。这样我们可以在__init__.py文件中批量导入我们所需要的模块，而不再需要一个一个的导入。# package# __init__.pyimport reimport urllibimport sysi..
2020-06-28 21:56:29
3729
原创 深度学习之目标检测（二）—— 常见的传统目标检测算法（Viola-Jones算法 & HOG-SVM算法 & DPM算法 & NMS算法）
传统目标检测算法Viola-Jones(VJ算法) HOG-SVM DPMViola-Jones算法主要用于人脸检测Harr特征value=白-黑Adaboost算法是集成学习的一种方法在深度学习算法火热之前，Adaboost算法属于工业界/学术届 经常会使用到的一种方法HOG+SVM主要用于行人检测Opencv实现...
2020-06-28 15:16:14
1431
原创 YOLO算法(一)——Yolo介绍 & Yolov1
YOLO（You Only Look Once），是一个统一的(Unified)、实时的(Real-Time)的目标检测是one-stage算法YOLO核心思想：从R-CNN到Fast R-CNN一直采用的思路是proposal+分类 （proposal 提供位置信息， 分类提供类别信息）精度已经很高，但是速度还不行。 YOLO提供了另一种更为直接的思路： 直接在输出层回归bounding box的位置和bounding box所属的类别(整张图作为网络的输入，把 Object Detecti.
2020-06-28 10:58:09
1283
原创 配置ssh无密码/免密码登录(远程linux服务器)
如果没有配置ssh无密码登录每次都要输密码首先我们输入ssh-keygen -t rsa#之后一路回车就会生成.ssh隐藏文件夹id_rsa是私钥id_rsa是公钥know_hosts中就是hadoop000如果想让它能使用的话，要把公钥写到一个文件里去，authorized_keyscat id_rsa.pub >> authorized_keys更改一下authorized_keys文件的权限chmod 600...
2020-06-27 16:31:17
2598
原创 Linux JDK1.8安装步骤
①解压JDKtar -zvxf②把jdk配置到系统环境变量中修改全局变量vim /etc/profile（vim ~/.bashrc 是修改当前用户配置文件，只作用于当前用户）在最下面添加export JAVA_HOME=/home/hadoop/app/jdk1.8.0_221export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexp..
2020-06-27 15:49:09
219
原创 Docker快速Apache环境进行Web页面部署
官方安装文档https://docs.docker.com/engine/install/centos/
2020-06-26 22:42:49
1000
原创 Docker(一) —— 简介&架构&与虚拟机的区别
Docker Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的 Linux或Windows 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口 Docker是基于Go语言的Docker的架构用docker可以把网络上的镜像库拉取到本地直接用Docker的三要素：镜像、容器、仓库①镜像(Image)Docker镜像可以用来创建Docker容器，......
2020-06-26 19:29:44
696
原创 NLP自然语言处理（零）—— NLP的来龙去脉
网上有些人说的DeepNLP，不是什么深层次的自然语言处理模型DeepNLP=Deep Learning + NLP就是用深度学习的方法来进行自然语言处理现在研究的热点也就是用深度学习的方法来进行自然语言处理，即现在研究的热点也就是DeepNLP一、DeepNLP的核心关键：语言表示（Representation） 最近DeepNLP非常火热。当常规的机器学习Machine Learning升级发展到了一定的阶段后，慢慢的被后起的深度学习Deep Learning夺势而去...
2020-06-25 21:02:34
416
原创 使用Gensim库来实现Word2Vec
GensimGensim是一个开源库，用于无监督的统计建模和自然语言处理，用Python和Cython实现的Gensim库来实现Word2VecWord2Vec被认为是自然语言处理（NLP）领域中最大、最新的突破之一。其的概念简单，优雅，（相对）容易掌握。Google一下就会找到一堆关于如何使用诸如Gensim和TensorFlow的库来调用Word2Vec方法的结果Word2Vec的目标是生成带有语义的单词的向量表示，用于进一步的NLP任务。每个单词向量通常有几百个维度，语料...
2020-06-25 20:06:41
1333
1
原创 NLP自然语言处理（四）—— Word2Vec(CBOW & Skip-Gram) & Python实现
Word2VecNLP非常核心、非常重要、非常基础的技术Word2Vec就是用神经网络把词转换成向量的模型Word2Vec的发展WordNet是Word2Vec的鼻祖Word2Vec是2013年由Mikolov提出Word2Vec模型man比woman和king更像所以可以看出，词之间也有远近关系的Word2Vec的不足①使用了唯一的词向量，对于多义词没有很好的效果②context很小，没有使用全局的coo...
2020-06-24 20:55:27
660
原创 NLP自然语言处理（三）—— 文本处理方法 & 传统NLP与深度学习NLP & NLP聊天机器人原理
文本处理方法①TF-IDF②Jieba分词③Onehot 将类别变量转换为数字型变量 稀疏④Word2vec 将每个单词映射成二维空间的一个点坐标⑤Stopwords停用词传统NLP与深度学习NLP的区别NLP聊天机器人原理...
2020-06-24 20:23:39
784
原创 基于Sklearn调用TF-IDF
代码小练from sklearn.feature_extraction.text import TfidfVectorizertfidf = TfidfVectorizer()#语料corpus = ['我 来 到 北京 大学', #文本[1] '他 来到 了 网易 杭研 大厦', #文本[2] '小明 硕士 毕业 于 中国 科学院', #文本[3] '我 爱 北京 天安门'] #文本[4]#都是分词后的结果r.
2020-06-24 17:18:49
291
原创 NLP自然语言处理（二）—— 语料及词性标注 & 分词 & TFIDF
语料及词性标注词性标注就是给每个词打上词类标签，如形容词、动词、名词等常见的中文词性编码词性标注的分类词性标注的方法NLTKJiebaimport jieba.posseg as psegwords = pseg.cut('我爱北京天安门')for word,flag in words: print('%s %s'%(word, flag))...
2020-06-24 13:15:09
5294
原创 实现AlphaGo(三)：创造能下围棋的机器人
我们在上节完成了围棋规则和棋盘状态监测功能，本节我们在基于上节的基础上，设计一个能自己下棋的围棋机器人主要有两点：一个是让机器人能自己跟自己下棋一个是让机器人跟我们下棋在完成这一节之后，AlphaGo所需要的所有基础设施就基本完备了。首先我们设计一个类叫Agent,它的初始化代码如下class Agent: def __init__(self): pass def select_move(self, game_state): raise NotImple...
2020-06-24 10:09:59
2152
3
原创 NLP自然语言处理（一）—— NLP主要范畴 & 发展历史 & 研究难点 & 涉及知识 & NLTK库
NLP主要范畴NLP发展历史研究难点NLP涉及知识词处理分词、词性标注、实体识别、词义消歧语句处理句法分析、语义分析、机器翻译、语音合成统计语言模型N-Gram统计模型、马尔可夫模型、隐马尔可夫模型NLTK库Natural Language Toolkit 自然语言处理工具包NLTK库诞生于20世纪80年代，是Python上著名的自然语言处理库，自带语料库，词性分类库; 自带分类、分词等功能，还有强大的社区...
2020-06-23 21:44:15
559
原创 WGAN-GP实战
在实现了GAN之后，下面就来看一下WGAN-GP实战看一下WGAN如何解决training不稳定的问题wgan.pyimport torchfrom torch import nn, optim, autogradimport numpy as npimport visdomimport randomfrom matplotlib import pyplot as plth_dim = 400batchsz = 512viz = visdom.Visdom()cl..
2020-06-23 20:31:53
968
原创 理解auto-encoder自编码神经网络
想象这样一个网络，输入是一组全部为一的向量，目标是一张人脸，经过好多好多轮的训练。我们只要输入这个全部唯一的向量就可以得到这张你熟悉的脸。其实这是因为在训练的过程中，我们通过不断地训练，网络已经将这张人脸图片的参数保存起来了。 这个工作其实已经可以看出他的意义所在了，通过一个网络，将一个高维空间的人脸映射为低维空间的一个向量。那么如果我将这个向量定义为四维，采用one-hot的表达方式表达四张不同的脸，那么这个网络就可以表达四个脸，emm，你输入不同的数据，他就会输出不同的脸来...
2020-06-23 18:00:15
310
原创 实现AlphaGo(二)：快速构建棋盘和围棋规则
我们迅速进入到代码编写阶段我们要实现的围棋机器人必须做到以下几点：1， 跟踪当前所下的每一步棋。2， 跟踪当前的棋局进展。如果是机器人自我对弈，那么代码对棋局的跟踪与人和机器人对弈是对棋局的跟踪有所不同。3， 根据当前棋盘局势，搜索多种可行的下法，并从中评估出最好的走法。4， 将棋局转换为可以拥有训练网络的数据。我们从易到难，先解决好小范围的问题，打好基础后才能处理更复杂的问题。首先我们要用代码编制好棋盘，player，落子等对象。首先我们用代码实现棋手:...
2020-06-23 13:07:27
1306
原创 实现AlphaGo(一)：围棋的基本规则和代码设计思路
从本节开始，我们将从零开始，一行一行代码的编写，直到完整设计出当年击垮13次世界围棋冠军李世石的AlphaGo 幸运的是，在人工智能思维下，我们不需要成为围棋高手就能设计出AlphaGo，我们只需要掌握围棋的若干条基本规则，然后熟悉Python代码的编写，具备深度学习的基本知识就够了-----------------------------------------------------------------------------------------------...
2020-06-23 09:28:19
3737
原创 Python @classmethod 修饰符
classmethod修饰符对应的函数不需要实例化，不需要 self 参数，但第一个参数需要是表示自身类的 cls 参数，可以来调用类的属性，类的方法，实例化对象等。#!/usr/bin/python# -*- coding: UTF-8 -*- class A(object): bar = 1 def func1(self): print ('foo') @classmethod def func2(cls): ...
2020-06-23 09:07:00
167
原创 Python @property装饰器
通过 @property 装饰器，可以直接通过方法名来访问方法，不需要在方法名后添加一对“（）”小括号。@propertydef 方法名(self) 代码块例如，定义一个矩形类，并定义用 @property 修饰的方法操作类中的 area 私有属性，代码如下：class Rect: def __init__(self,area): self.__area = area @property def area(self): re.
2020-06-23 08:41:01
172
原创 Pytorch之经典神经网络Generative Model(二) —— VAE (MNIST)
Auto-Encoder实战对于监督学习loss = criteon(predict, label)无监督学习loss = criteon(x_hat, x)main.pyimport torchfrom torch.utils.data import DataLoaderfrom torchvision import transforms,datasetsfrom torch import nn,optimfrom ae import AEimport vi..
2020-06-22 20:43:50
1937
1
原创 深度学习中的batchsize, iter和epoch
Batch Size是一次训练所选取的样本数。Batch Size的大小影响模型的优化程度和速度。同时其直接影响到GPU内存的使用情况，假如你GPU内存不大，该数值最好设置小一点。epoch是训练轮数...
2020-06-22 16:25:56
2899
原创 深度学习与神经网络（十四）—— VAE变分自编码器
VAEVariational Autoencoder 变分自编码器通常我们会拿 VAE 跟 GAN 比较，的确，它们两个的目标基本是一致的——希望构建一个从隐变量Z生成目标数据X的模型，但是实现上有所不同引入从神经网络的角度来理解VAE变分自编码器中间神经元的连接方式也是不太一样的VAE vs GANGAN的效果要更好...
2020-06-22 14:30:09
10668
3
原创 KL散度(相对熵)(双向KL散度) & JS散度
KL散度KL-divergence，KL散度，KL距离，又叫相对熵(relative entropy)，衡量两个概率分布之间的不同程度，是描述两个概率分布P和Q差异的一种方法就是信息论学的相对熵最简单的情况：当KL-divergence为0时，两个分布完全相同。P和Q越相似，KL散度越小JS散度JS散度基于KL散度，同样是二者越相似，JS散度越小。JS散度的取值范围在0-1之间，完全相同时为0 JS散度是对称的...
2020-06-22 11:10:36
5530
原创 Stata
Stata能够提供各种统计功能和强大图形功能的工具，能够加载gigabytes of data，仍能快速轻松地进行数据操作。Stata是一种通用统计软件，具有广泛的数据管理和计算能力，并且与Excel和SPSS具有相似性。使用Stata，可以打开许多不同类型的数据文件，对它们进行重新排序，合并，更改它们以及执行强大的统计分析。Stata可以加载和处理多达120,000个变量， 200亿个观测值，其多核处理能力允许使用多达64个CPU内核来工作...
2020-06-21 15:34:40
1650
原创 深度学习与神经网络（十三）—— Auto-Encoder自编码神经网络
我们之前看的都是监督学习但是生活中的大量的数据都是没有label的现在来看非监督学习机器学习领域的三大方向强化学习（樱桃）、监督学习（蛋糕的外皮）、非监督学习为什么需要非监督学习？降维利用大量的无标签数据https://projector.tensorflow.org/Auto-Encoders怎样训练...
2020-06-20 12:54:07
2295
原创 深度学习之目标检测（一）—— 目标检测算法介绍
目标检测问题目标检测是在图片中对可变数量的目标进行查找和分类查找就是定位到它在图片中的位置，通常表示为一个矩形框对于这样的问题，主要存在三个主要难点 ①目标种类与数量问题 ②目标尺度问题 ③外在环境干扰问题目标检测 VS 目标分割语义分割只要找到同一类物体或者目标的区域就行了实例分割比语义分割更加精细，对于同一类别的目标也需要划分出不同的实例目标检测主要去定位物体的位置，位置信息通常表示为一个矩形，一个举行可以通过...
2020-06-20 10:52:22
2557
原创 深度学习与神经网络(十二)—— GAN生成对抗网络 & DCGAN & WGAN(JS divergence & EM/Wassertein Distance & Gradient Penalty)
GAN是现在deep learning最火热的方向学到了x的分布画家的成长历程根据画家怎样练习、成长，画出一幅好的作品来学习怎样用神经网络来逼近一幅优秀的作品pr的r是realpg是你脑中x的分布...
2020-06-18 16:24:23
1618
原创 深度学习与神经网络（十一）—— 迁移学习
我们自己做的宝可梦数据集的图片数量只有1000多张规模是很小的，而我们使用的是比较强大的resnet，所以很容易出现overfitting的情况该怎么解决呢Pokemon和ImageNet都是图片，存在某些共性knowledge那么我们能不能利用ImageNet的模型来帮助我们提升宝可梦数据集分类的性能这里不再用自己写的resnet18了，而是加载已经train好的resnet...
2020-06-07 23:18:47
1832
原创 在自定义宝可梦数据集上使用resnet18网络
目录结构train.pyimport torchfrom torch import optim, nnimport visdomimport torchvisionfrom torch.utils.data import DataLoaderfrom pokemon import Pokemonfrom resnet import ResNet18batchsz = 32lr = 1e-3epochs = 10device = torch.device('c..
2020-06-07 17:23:11
937
3
原创 Pytorch(十二) —— argparse命令行读取指令
argparse使用步骤：（1）import argparse 首先导入模块（2）parser = argparse.ArgumentParser（） 创建一个解析对象（3）parser.add_argument() 向该对象中添加你要关注的命令行参数和选项（4）parser.parse_args() 进行解析例如，你使用的是parser.add_argument('-.................................
2020-06-06 17:32:35
4223
原创 Overleaf/Latex(一) —— 基础&示例 (sty,cls,bst文件)
OverleafOverleaf就是在线Latexhttps://www.overleaf.com/注册要用gmail，126、163等都会提示无效模板https://www.overleaf.com/latex/templates\usepackage{}\textbf{} 加粗\emph{} 斜体
2020-06-05 21:47:13
4904
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人