pangyunsheng-CSDN博客

原创 Python2.7安装Xgboost

Python2.7安装Xgboost1. 介绍由于工作要求，需要使用python2.7，网上关于在python2.7上安装xgboost的资源较少，因此在这里记录一下自己在python2.7上成功安装xgboost的过程。python3上安装xgboost很简单，不要参考此方法。2. mingw-w64的安装mingw-w64是为了在windows环境下直接编译github上得到的xgboost项目文件1）下载mingw-w64：下载地址点击下载x86_64-5.3.0-relea.

2021-07-02 11:25:49 360

原创 NLP以及ML中常用的Smoothing方法

NLP以及ML中常用的Smoothing方法主要介绍以下几种常用的平滑方法，详见(包含代码)https://github.com/PangYunsheng8/Smoothing-Techniques-in-NLPLaplacian (add-one) SmoothingLidstone (add-k) SmoothingAbsolute DiscountingKatz BackoffK...

2020-04-06 18:14:38 1011

原创 NLTK与StanfordNLP工具包结合使用

(一) 概述1.NLTKNLTK是一款著名的python自然语言处理工具包，其内收集了NLP领域大量的公开数据集以及常用模型，涵盖了分词，词性标注，命名实体识别，句法分析，依存分析等各种NLP领域的子任务。2.Stanford NLPStanford NLP 是由斯坦福大学的NLP小组开源的用Java实现的NLP工具包，同样对 NLP 领域的各个问题提供了解决办法。相比NLTK，Stanf...

2020-04-04 15:24:22 699

原创 Speech and Language Processing(6) - Vector Semantics and Embeddings笔记

6. Vector Semantics and Embeddings本章主要介绍word semantics/embeddings，就是词向量。以及一些basic principles of word meaning。6.1 Lexical Semantics(词汇语义学)我第一次看到Lexical Semantics这个词是很懵的，翻译成中文叫词汇语义学，依旧不知道是什么意思。其实，本节主...

2020-02-24 16:34:01 708

原创 Byte-Pair-Encoding for Tokenization

BPE概述Byte-Pair-Encoding是用于解决未登录词的一种方法。首先简单提一句什么是未登录词，未登录词可以理解为训练语料库中没有出现的，但是在测试语料库中出现的词。我们在处理NLP任务时，通常会根据语料生成一个词典，把语料中词频大于某个阈值的词放入词典中，而低于该阈值的词统统编码成"#UNK"。这种处理方法的好处是简单，但是问题也很大，在测试语料库中如果出现了未登录词，那么我们的模型...

2020-02-23 17:05:49 1545

原创 CCNet: Criss-Cross Attention for Semantic Segmentation

CCNet: Criss-Cross Attention for Semantic Segmentation这是一篇2018年11月挂在arxiv上的语义分割文章，本文对这篇文章进行详细解读。1.Abstract 长依赖关系可以捕获有用的上下文信息，这对于视觉理解问题是有益的。本文提出了CCNet来以一种更有效的方式捕获这种重要信息。具体地说，对于每个pixel，CCNet通过一个cris...

2019-04-07 15:03:29 9742 1

原创 Dual Attention Network for Scene Segmentation

Dual Attention Network for Scene Segmentation1.Abstract 本文通过自注意力机制(self-attention)来捕获丰富的上下文依赖(rich contextual dependencies)。提出了DANet来自适应地整合局部特征与其全局依赖关系(global dependencies)。具体来说，通过引入空间(spatial)维度和通...

2019-04-05 20:22:00 4495 2

原创近两年语义分割文章总结

近两年语义分割文章总结最近在做语义分割方向的研究，期间读了不少paper，有一些自己的想法，打算把它们记录下来，因此准备写一系列近两年CV顶会(CVPR, ICCV, ECCV)中经典的语义分割相关文章。此系列文章主要是对近两年分割方向相关文章的解读，不涉及太多语义分割基础知识，因此读者需要对语义分割有一定的了解。写这系列文章的目的是为了记录自己学习的过程，总结一些大佬们的idea和motiva...

2019-04-03 13:18:16 844

原创 PASCAL VOC 2012数据集及其增强版介绍

PASCAL VOC 2012数据集及其增强版介绍Pascal voc 2012数据集可以用于分类、检测和分割。这篇文章主要介绍其在语义分割任务上的使用。原始的Pascal voc 2012数据集仅仅包含1464个训练数据集，然而在很多paper上，大家都使用了包含10582个训练集的增强版数据集进行训练，因此，这篇文章将会详细介绍原版和增强版的Pascal voc 2012数据集以及它们的使用...

2019-02-15 14:26:07 15271 9

原创【深度学习】基于caffe的表情识别（五）：使用python接口测试

《基于caffe的表情识别》系列文章索引：http://blog.csdn.net/pangyunsheng/article/details/79434263一、编译pycaffe caffe提供了python、matlab、C++等语言的接口，这里我们使用python进行测试就需要先编译python接口，也就是编译pycaffe，我在之前给出的安装编译caffe的教程中，包含了编译pyca...

2018-03-08 12:03:47 3692 12

原创【深度学习】基于caffe的表情识别（四）：在Intel AI DevCloud上训练模型

《基于caffe的表情识别》系列文章索引：http://blog.csdn.net/pangyunsheng/article/details/79434263 一、注册申请Intel AI DevCloud 1.打开AI DevCloud申请的网址，请求访问：https://software.intel.com/zh-cn/ai-academy/tools/devcloud ...

2018-03-04 03:37:09 4009

原创【深度学习】基于caffe的表情识别（三）：搭建网络结构

《基于caffe的表情识别》系列文章索引：http://blog.csdn.net/pangyunsheng/article/details/79434263一、caffe网络模型规则在caffe中，最常见的就是搭建一个卷积神经网络模型来解决一个识别问题，就如本例中，我们就是在alexnet上做适当修改，得到我们的卷积神经网络模型，在这里我简单称呼其为FacialNet，通过人脸表情数据训...

2018-03-04 03:35:31 5746 15

原创【深度学习】基于caffe的表情识别（二）：数据集介绍及处理

《基于caffe的表情识别》系列文章索引：http://blog.csdn.net/pangyunsheng/article/details/79434263一、数据集介绍在本实验中我采用的数据集是fer2013人脸表情数据集。fer2013，即Kaggle facial expression recognition challenge dataset，是目前较大的人脸表情识别公开数据库。...

2018-03-04 03:34:09 10497 8

原创【深度学习】基于caffe的表情识别（一）：概述

随着以深度学习为代表的人工智能技术的发展，人工智能现已涉及到我们生活的方方面面，也有越来越多的人转行开始从事人工智能技术的研究和实现。本人也刚刚接触深度学习不久，凭着兴趣爱好在业余时间学习了一些深度学习方面的基本知识和技能，因此想把自己在最近一段时间内学到的东西写下来。接下来我会写一系列文章，主要以表情识别为核心问题，以caffe为主要框架，并将涉及云计算、人脸检测等一系列技术，向大家介绍一个完整...

2018-03-04 01:56:29 13813 13

原创 Ubuntu16.04下caffe安装编译全过程（CPU）

caffe是深度学习最好用的框架之一，但caffe的安装编译过程相对较复杂，本人在安装编译时百度了好几个版本，都没有一次成功过，因此在此总结一下自己的编译过程，本文是在Ubuntu16.04下安装编译caffe，其他版本会略有不同。该教程本人亲测三遍，无特殊情况一般都可以编译成功。一、安装依赖包打开linux命令行，先执行下面指令：sudo apt-get update再依次执行以下语句，安装依赖...

2018-03-02 01:25:47 8952 4

原创提取图片文字——linux下tesseract-ocr安装编译

最近在做项目的时候偶然间发现了一个好玩的东西，那就是tesseract-ocr。首先介绍一下什么是OCR技术。光学字符识别(OCR,Optical Character Recognition)是指对文本资料进行扫描，然后对图像文件进行分析处理，获取文字及版面信息的过程。说白了就是可以提取到图片中的文字，这个技术在近两年比较火，可以发现现在的很多软件中（例如QQ、微信等）都已经融入了OCR技术，于是...

2018-02-26 01:32:09 14270 1