自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

【数据启示录】

本人所有博客从始至终遵循by-nc-sa协议。

原创 角点检测——发现图像的特征
原力计划

文章目录写在最前角点检测是什么?有什么用?OpenCV中的角点检测Harris角点检测Shi-Tomasi 角点检测特征检测,从ORB说起写在最后往期文章下载 写在最前 不知不觉,漫谈计算机视觉也写了四篇了,我们从最基本的除噪引出计算机图形学的各种技术,然后又学会了发现图像的轮廓,发现图像的边缘,...

2020-05-20 11:36:06 847 0

原创 图像边缘检测,检测亦或简化
原力计划

上一章节,我们在使用图像轮廓发现的时候使用了图像边缘检测,一次来提高图像轮廓发现的准确率。事实上在计算机的各个领域都有图像边缘检测的身影。边缘检测一大优点就在于可以大幅度减少数据量,并且提出可以认为不相关的信息,保留了图像的结构属性。边缘检测的方法有很多,但是绝大部分都可以分为两大类,第一类是基于...

2020-05-12 17:02:44 282 0

原创 发现你的身形——OpenCV图像轮廓
原力计划

OpenCV(三) 图像轮廓 上一节最后,我们说过这一次我们就将会讲解真正的OpenCV图像轮廓有关知识。轮廓发现的具体实现有多种方式,不过其的使用在OpenCV中的使用并不困难,不过想用好还需要多点基础知识。这里我们会首先讲一讲OpenCV中的轮廓发现算法,然后再讲一讲其他可以用于轮廓发现的特殊...

2020-05-06 23:54:59 163 0

原创 计算机视觉的基石-滤波
原力计划

我在之前的文章中 讲了OpenCV中的滤波函数以及专门去模糊化的函数fastNlMeansDenoisingColored讲解了OpenCV的入门。这一次,我们详细讲解OpenCV中的滤波函数,这样我们在学会滤波函数之后,既可以按照上一篇文章的内容进行噪音去除,也可以使用滤波函数进行反向操作—模糊...

2020-04-30 00:11:08 187 2

原创 从去除噪点的说起,有OpenCV要什么PS?
原力计划

OpenCV一个出色的开源框架,其中Open指的就是OpenSource,开源。而CV则是计算机视觉(Computer Vision)。依靠OpenCV背后开源社区背书,其不仅在过去实现了绝大多数计算机视觉所需要的基础算法,同时也能跟随时代发展不断更新新的神经网络。 我们在之前曾经编写过OpenC...

2020-04-29 16:08:11 306 0

原创 opencv快速入门人脸检测与人脸识别
原力计划

让“它”认得你 ——利用opencv快速入门人脸检测与人脸识别 opencv,顾名思义“开源,计算机视觉”。OpenCV就是这样的一个特殊的框架,一群大牛然绕自己的时间,制作了一个开源的计算机视觉框架。借助它我们可以快速的创建计算机视觉的应用。而我们这里将会使用更更加快速的OpenCV-Pytho...

2020-04-04 19:06:16 384 0

原创 人工智的时代?未来已至?
原力计划

在过去的几年里,高新技术发展似乎方兴未艾。大数据,云计算,人工智能又或者是数据科学,智慧城市,无人驾驶,无数崭新的名词不断地冲击着我们。或许不远了。而实际上它们早已经悄悄地改变了我们。下面几个故事将告诉我们,曾经难以想象的未来是如何一步一步走进我们的生活的。 给奶爸一瓶啤酒 第一个故事是啤酒和尿...

2020-03-20 15:07:51 149 0

原创 Ubuntu18.04 显卡驱动安装

更新阿里源 Ubutnu安装后的第一件事是找到Software & Updates,将源更新为阿里云的源 。这样可以帮助我们减少很多麻烦。 之后,到第二页选择Other Software勾选Canonical Partners。 之后进行手动更新 sudo apt update sud...

2020-02-12 17:32:27 365 0

原创 Ubuntu18.04 CUDA与cudnn安装

cuda版本的选择 CUDA与cudnn有多种安装方式,目前搜索cuda下载默认打开的是10.2:https://developer.nvidia.com/cuda-downloads 进入连接,按照要求选择。本人使用的是1070,Ubuntu18.04,驱动为440.59,因此这里直接选择了10...

2020-02-12 17:21:56 138 0

转载 linux下gcc、g++不同版本的安装和切换

Ubuntu 18.04预装GCC版本为7.3,但有时在编译是需要用的不同gcc版本,下面介绍,如何安装不同的gcc 和g++,并设置根据不同的需要在不同版本之间切换。 1. 可以通过如下命令查看当前安装的版本: ll /usr/bin/gcc* 2. 安装gcc-4.8 和gcc-5: sud...

2020-02-12 15:12:18 169 0

原创 Ubuntu 18.04 独显和集显切换

Ubuntu 18.04 独显和集显切换 查看自己的显卡 ubuntu-drivers devices #查看自己的显卡及可以安装的驱动版本 == /sys/devices/pci0000:00/0000:00:01.0/0000:01:00.0 == modalias : pci:v000...

2020-02-12 15:04:18 890 0

原创 QEMU入门指南

QEMU 本文分为三个部分,第一部分主要介绍了qemu是什么,给人一个基本印象。第二部分重点介绍其安装。第三部分介绍其架构,这对我们的进一步使用有比较大的好处。 什么是QEMU QEMU是一种通用的开源计算机仿真器和虚拟器。QEMU共有两种操作模式 全系统仿真:能够在任意支持的架构上为任何机器...

2020-02-03 16:10:22 480 0

转载 一文读懂QEMU虚拟机

Qemu 架构 Qemu 是纯软件实现的虚拟化模拟器,几乎可以模拟任何硬件设备,我们最熟悉的就是能够模拟一台能够独立运行操作系统的虚拟机,虚拟机认为自己和硬件打交道,但其实是和 Qemu 模拟出来的硬件打交道,Qemu 将这些指令转译给真正的硬件。 正因为 Qemu 是纯软件实现的,所有的指令...

2020-01-10 14:57:01 131 0

翻译 PyTorch 深度学习: 60 分钟极速入门

PyTorch 深度学习: 60 分钟极速入门 2019年年初,ApacheCN组织志愿者翻译了PyTorch1.2版本中文文档(github地址),同时也获得了PyTorch官方授权,我相信已经有许多人在中文文档官网上看到了。不过目前校对还缺人手,希望大家踊跃参与。之前一段时间我们和PyTorc...

2019-11-15 13:28:28 190 0

翻译 使用PyTorch训练图像分类器

训练分类器 译者:bat67 校对者:FontTian 目前为止,我们以及看到了如何定义网络,计算损失,并更新网络的权重。所以你现在可能会想, 数据应该怎么办呢? 通常来说,当必须处理图像、文本、音频或视频数据时,可以使用python标准库将数据加载到numpy数组里。然后将这个数组转化成to...

2019-11-15 13:02:43 202 0

原创 You must provide a username via either --os-username or env[OS_USERNAME]

在安装好openstack之后,使用上传镜像命令进行镜像的上传,但是这时候报了"You must provide a username via either --os-username or env[OS_USERNAME]"的错误. 解决办法 在root用户下执行如下命令 ...

2019-08-31 12:40:53 893 0

翻译 使用PyTorch创建神经网络

2019年年初,ApacheCN组织志愿者翻译了PyTorch1.0版本中文文档(github地址),同时也获得了PyTorch官方授权,我相信已经有许多人在中文文档官网上看到了。不过目前校对还缺人手,希望大家踊跃参与。之前一段时间我们和PyTorch的有关负责人Bruce Lin一直在进行邮件交...

2019-08-10 10:28:45 384 0

翻译 Autograd:自动求导

2019年年初,ApacheCN组织志愿者翻译了PyTorch1.0版本中文文档(github地址),同时也获得了PyTorch官方授权,我相信已经有许多人在中文文档官网上看到了。不过目前校对还缺人手,希望大家踊跃参与。之前一段时间我们和PyTorch的有关负责人Bruce Lin一直在进行邮件交...

2019-08-10 10:02:03 432 1

翻译 什么是PyTorch?

2019年年初,ApacheCN组织志愿者翻译了PyTorch1.0版本中文文档(github地址),同时也获得了PyTorch官方授权,我相信已经有许多人在中文文档官网上看到了。不过目前校对还缺人手,希望大家踊跃参与。之前一段时间我们和PyTorch的有关负责人Bruce Lin一直在进行邮件交...

2019-08-10 09:57:58 142 1

转载 jupyter notebook常用快捷键

阅读目录 命令模式(按ESC启动) 编辑模式(按Enter启动) Jupyter Notebook 的快捷键 使用前需要进行安装: pip install jupyter(前提是你已经安装好Python,并将python添加到环境解释器中) 安装完成之后,因为python已经添加至环境变...

2019-07-11 16:49:53 156 0

原创 虚拟机 centos 6.5 扩展根目录分区大小

要想扩充虚拟机centos 空间,必须先扩充虚拟机本身物理空间.本文只描述如何增加centos系统的根目录空间。以下内容,需要输入命令以红色标出,关键输出内容以蓝色标出。 1 查看磁盘情况 首先登陆root用户,然后使用#fdisk -l查看系统磁盘会出现以下信息: Device Boot ...

2019-07-02 16:03:24 1246 1

原创 Maximal Information Coefficient (MIC)最大互信息系数详解与实现

MIC MIC 即:Maximal Information Coefficient 最大互信息系数。 使用MIC来衡量两个基因之间的关联程度,线性或非线性关系,相较于Mutual Information(MI)互信息而言有更高的准确度。MIC是一种优秀的数据关联性的计算方式。本篇文章将会详细介绍M...

2018-12-23 22:32:43 10669 2

原创 Hyperopt 入门指南

Hyperopt:是进行超参数优化的一个类库。有了它我们就可以拜托手动调参的烦恼,并且往往能够在相对较短的时间内获取原优于手动调参的最终结果。 一般而言,使用hyperopt的方式的过程可以总结为: 用于最小化的目标函数 搜索空间 存储搜索过程中所有点组合以及效果的方法 要使用的搜索算法 目标...

2018-12-19 16:30:27 3717 5

原创 Hive 快速上手

Hive 快速上手 本文旨在快速学习或者回顾hive常用知识,阅读本文档需要二十分钟,完成后你将上手hive。

2018-12-19 09:46:22 292 0

原创 Lightgbm with Hyperopt

如何使用hyperopt对Lightgbm进行自动调参 之前的教程以及介绍过如何使用hyperopt对xgboost进行调参,并且已经说明了,该代码模板可以十分轻松的转移到lightgbm,或者catboost上。而本篇教程就是对原模板的一次歉意,前半部分为教程-如何使用hyperopt对xgb...

2018-12-18 12:49:39 1692 9

原创 在Python中使用lightgbm

前言-lightgbm是什么? LightGBM 是一个梯度 boosting 框架, 使用基于学习算法的决策树. 它是分布式的, 高效的, 装逼的, 它具有以下优势: 速度和内存使用的优化 减少分割增益的计算量 通过直方图的相减来进行进一步的加速 减少内存的使用 减少并行学习的通信代价 ...

2018-12-17 15:22:10 5288 0

原创 在Python中使用XGBoost

本文原是xgboost的官方文档教程,但是鉴于其中部分内容叙述不清,部分内容也确实存在一定的问题,所以本人重写了该部分。数据请前往Github此处下载 前置代码 引用类库,添加需要的函数 import numpy as np from sklearn.model_selection import ...

2018-12-17 11:22:21 2464 0

原创 在Hyperopt框架下使用XGboost与交叉验证

Xgboost中内置了交叉验证,如果我们需要在Hyperopt中使用交叉验证的话,只需要直接调用即可。前边我们依旧采用第一篇教程使用过的代码。如果你已经看过前一篇文章,那么我建议你直接跳到交叉验证部分。

2018-12-17 10:33:47 1390 5

原创 如何使用hyperopt对xgboost进行自动调参

本教程重点在于传授如何使用Hyperopt对xgboost进行自动调参。但是这份代码也是我一直使用的代码模板之一,所以在其他数据集上套用该模板也是十分容易的。 同时因为xgboost,lightgbm,catboost。三个类库调用方法都比较一致,所以在本部分结束之后,我们有理由相信,你将会学会在...

2018-12-17 10:26:17 3280 15

原创 Anconda下的R语言

为什么要使用Anconda 对于从事数据科学有关内容的人而言,R语言几乎是不得不接触的内容。想要使用R语言,直接在电脑中安装或许是个不错的选择。但是既然我们有Anconda,那么从Anconda入手R语言或许是一个更好的选择。 个人认为这样做有如下好处: 更方便,减少了安装步骤(ubuntu18...

2018-12-12 16:50:44 1237 0

原创 ExecutableNotFound: failed to execute ['dot', '-Tsvg'], make sure the Graphviz executables are on yo

问题发生 在使用xgboost自带功能绘图的时候出现了问题 ExecutableNotFound: failed to execute ['dot', '-Tsvg'], make sure the Graphviz executables are on y...

2018-12-03 14:54:35 6413 0

原创 jupyter notebook 删除指定kernel

之前在jupyter notebook上安装过spark magic,现在需要卸载他,一共有四个kernel需要卸载。刚好拿来做例子,步骤十分简单。 第一步,查看所有核心 使用命令: jupyter kernelspec list 查看所有已经安装的jupyter notebook 的 kern...

2018-11-29 10:21:01 4794 2

原创 2018 亚太数学建模大赛B题解题思路

首先说明,本人不参赛。不出售论文,也不以任何形式参与任何商业活动。请不要以任何形式私聊我,这会给我造成困扰。我之所以写这篇博客,仅仅是因为参加了太多的数学建模比赛,知道没有思路的痛苦而已,所以相以学长的身份给参赛者一点思路上的帮助。实在有什么问题可以给我留评论,我会尽快回答。如果这对你有一定的帮助...

2018-11-23 12:20:02 16090 63

原创 RDD浅谈

RDD概念:Resilient Distributed Datasets RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点:自动容错、位置感知...

2018-10-21 16:16:18 225 0

原创 Jupyter notebook 编写scala与spark

前置条件 spark安装完毕 Ancona安装完毕 为了在jupyter notebook上编写scala与spark需要安装Jupyter-Spark与Jupyter-Scala两个jupyter核心(kernel) 本人安装顺序为Jupyter-Spark,然后Jupyter-Scala,...

2018-10-21 16:14:04 3505 4

原创 实例使用pyhanlp创建中文词云

使用pyhanlp创建词云 去年我曾经写过一篇文章Python + wordcloud + jieba 十分钟学会用任意中文文本生成词云(你可能觉得这和wordcloud中官方文档中的中文词云的例子代码很像,不要误会,那个也是我写的) 现在我们可以仿照之前的格式在写一份pyhanlp版本的。 对于...

2018-09-25 22:18:51 788 0

原创 pyhanlp 文本聚类

文本聚类 文本聚类简单点的来说就是将文本视作一个样本,在其上面进行聚类操作。但是与我们机器学习中常用的聚类操作不同之处在于。 我们的聚类对象不是直接的文本本身,而是文本提取出来的特征。因此如何提取特征因而是非常重要的一步。在HanLP中一共有三个文本聚类方法。前两种都基于词袋模式,第一个是最常见的...

2018-09-25 21:27:15 1037 0

原创 pyhanlp 文本分类与情感分析

这一次我们需要利用HanLP进行文本分类与情感分析。同时这也是pyhanlp用户指南的倒数第二篇关于接口和Python实现的文章了,再之后就是导论,使用技巧汇总和几个实例落。真是可喜可贺啊。 文本分类 在HanLP中,文本分类与情感分析都是使用一个分类器,朴素贝叶斯分类器。或许这个分类器还算是比较...

2018-09-24 20:26:45 3031 9

原创 pyhanlp 文本推荐,同义改写,语义距离

文本推荐 该部分的内容之所以在一起是因其底层原理相同。文本推荐,语义距离,同义改写等都是基于word2vec的。因为作者HanLP源代码和博客都没有写该部分的原理。所以笔者大概查看了源码,发现功能实现原理非常之简单,就是根据文档与给定单词的距离进行打分,而这个语义距离就是从word2vec来的。熟...

2018-09-24 18:00:28 1981 8

原创 pyhanlp 两种依存句法分类器

依存句法分析器 在HanLP中一共有两种句法分析器 依存句法分析 基于神经网络的高性能依存句法分析器 MaxEnt依存句法分析 基于神经网络的高性能依存句法分析器 HanLP中的基于神经网络的高性能依存句法分析器参考的是14年Chen&Manning的论文(A Fast ...

2018-09-24 13:40:47 2644 0

提示
确定要删除当前文章?
取消 删除