机器学习及相关算法
文章平均质量分 92
机器学习及相关算法
优惠券已抵扣
余额抵扣
还需支付
¥49.90
¥99.00
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
life1024
这个作者很懒,什么都没留下…
展开
-
Nlp相关框架总结
Jieba具体参看:https://github.com/fxsjy/jieba/tree/jieba3kSnowNlp地址: https://github.com/isnowfy/snownlp/中文分词(Character-Based Generative Model) 词性标注(TnT3-gram 隐马) 情感分析(现在训练数据主要是买卖东西时的评价,所以对其他的一些可能效果不是很好,待解决) 文本分类(Naive Bayes) 转换成拼音(Trie树实现的最大匹.原创 2021-07-05 11:39:28 · 520 阅读 · 0 评论 -
开源nlp自然语言处理 word2vec nltk textblob crf++ 机器人、翻译、简繁转换、分词、词性、词向量、关键词主题、命名体识别、语义分析、情感正负面、近义同义词、句子相似性、聚类
github开源持续更新:https://github.com/lhyxcxy/nlp说明本例子主要集成各种nlp框架使用包括 word2vec nltk textblob crf++ 等具体功能(1)自动问答机器人(2)中文翻译,及繁体转简体(3)关键词提取,主题提取,摘要提取(4)命名体识别(5)分词(6)情感分析,正负类分析(7)近义词,同义词,句子相似性(8)聚类,监督,无监督(9)词性标注(10)词向量提取.├── chatbot ######...原创 2020-12-09 09:49:11 · 518 阅读 · 0 评论 -
目标检测 相关参数说明 IOU/AP/MAP
网上一些资料博客参差不齐,缺乏直观易懂的正确说明。希望这篇博文能够给大家一点帮助。mAP历史目标检测的mAP计算方式在2010年的voc上发生过变化,目前基本都是采用新的mAP评价标准。(我有个小疑问就是明明是2010年修改的,但是貌似现在大家都称这种计算方式为2012)所以你查到的有一些博客上记录的是之前的mAP评价标准。但是,知乎上有一个回答,是完全错误的。而且很多评论已经指出来了,但是回答者一直没有修改。这个回答也曾经误导过我。目标检测中的mAP是什么含义? - 许博雅的回...转载 2020-10-25 10:39:06 · 4040 阅读 · 0 评论 -
机器视觉常用数据集
前言:数据是深度学习的血液,本文介绍一下当前非常常见的一些数据集。1 ImageNetImageNet是一个计算机视觉系统识别项目,是目前世界上图像识别最大的数据库。是美国斯坦福的计算机科学家李飞飞模拟人类的识别系统建立的。能够从图片识别物体。目前已经包含14197122张图像,是已知的最大的图像数据库。每年的ImageNet大赛更是魂萦梦牵着国内外各个名校和大型IT公司以及网络巨头的心。图像如下图所示,需要注册ImageNet帐号才可以下载,下载链接为http://www.ima...原创 2020-10-25 10:44:33 · 3557 阅读 · 1 评论 -
目标检测之darknet框架实现yolo
本文转载https://blog.csdn.net/weixin_45048417/article/details/103826882,稍有改动环境ubuntu,darknet3,opencv3.4.7目录一、安装OPENCV3.4 1、安装配置相关工具及依赖库 2、从官网下载源码 3、安装过程 (1)将zip文件解压到当前目录 (2)进入解压后的文件夹 (3)创建一个编译需要的临时文件夹build,并进入 (4)cmake一下 (5)进...原创 2020-10-25 11:32:19 · 1160 阅读 · 1 评论 -
windows 机器学习 tensorflow-gpu +keras gpu环境的 相关驱动安装-CUDA,cuDNN。
本人真实实现的情况是:windows 10tensorboard 1.8.0tensorflow-gpu 1.8.0pip install -i https://pypi.mirrors.ustc.edu.cn/simple/ tensorflow-gpu==1.8.0Keras 2.2.4pip install -i https://pypi.mirrors.ustc.edu.cn/simple/ kera...原创 2020-10-25 12:29:11 · 303 阅读 · 0 评论 -
windows 下的darknet安装
1,操作系统环境Windows7 64位操作系统,无gpu。gpu 的请参考https://zhuanlan.zhihu.com/p/458454542,下载darknet在网站https://github.com/pjreddie/darknet上,点击“clone or download”,然后选择“download ZIP”,下载为文件darknet-master.zip。解压到“F:\test\git-src\darknet-master”目录。3,下载安装Cygw...转载 2020-10-25 13:04:17 · 3265 阅读 · 1 评论 -
人脸识别开源项目之-face_recognition
特性从图片里找到人脸定位图片中的所有人脸:import face_recognitionimage = face_recognition.load_image_file("your_file.jpg")face_locations = face_recognition.face_locations(image)识别人脸关键点识别人脸关键点,包括眼睛、鼻子、嘴和下巴。import face_recognitionimage = face_recognition..原创 2020-10-25 13:48:23 · 1386 阅读 · 0 评论 -
Keras-tensorflow 下cpu-gpu相关问题
特别注意版本问题亲自实践过的版本windows 10tensorboard 1.8.0tensorflow-gpu 1.8.0pip install -i https://pypi.mirrors.ustc.edu.cn/simple/ tensorflow-gpu==1.8.0Keras 2.2.4pip install -i https://pypi.mirrors.ustc.edu.cn/simpl...原创 2020-10-25 15:19:37 · 306 阅读 · 0 评论 -
图像识别之目标检测keras-tensorflow 实现yolo3
关于windows gpu环境请参考https://liuhuiyao.blog.csdn.net/article/details/109271898keras-yolo3 地址 https://github.com/qqwweee/keras-yolo3本人真实实现的情况是:windows 10tensorboard 1.8.0tensorflow-gpu 1.8.0pip install -i https://pypi.mirrors....原创 2020-10-25 15:47:09 · 433 阅读 · 0 评论 -
图像识别标注工具 LabelImg
下载https://download.csdn.net/download/u013378306/13042616在data目录下的predefined_classes.txt 添加自己要分类的名称,此处为dog,和cat点击labelImg.exe启动程序最后点击save 取保存的目录 也就是change save dir的目录,如果是默认的则保存在图片所在的目录。其中yolo格式会生成txt文件,voc格式的是xml文件,一个图片对应一个标注文件,标注文件的名称和图片的...原创 2020-10-25 10:18:05 · 1008 阅读 · 0 评论 -
预测模型标记语言pmml,python-sklearn训练模型,java-jpmml 使用模型预测
预测模型标记语言(Predictive Model Markup Language,PMML)是一种可以呈现预测分析模型的事实标准语言。标准东西的好处就是,各种开发语言都可以使用相应的包,把模型文件转成这种中间格式,而另外一种开发语言,可以使用相应的包导入该文件做线上预测。不过,当训练和预测使用同一种开发语言的时候,PMML就没有必要使用了,因为任何中间格式都会牺牲掉独有的优化。pmml官网:http://dmg.org/pmmljpmml:https://github.com/jpmml.原创 2020-10-23 18:58:18 · 747 阅读 · 0 评论 -
centos 安装 theano
1.安装(参考:theano安装)[plain]view plaincopyyuminstallpython-develpython-nosepython-setuptoolsgccgcc-gfortrangcc-c++blas-devellapack-develatlas-develpipinstall--upgr原创 2018-01-11 11:11:34 · 750 阅读 · 1 评论 -
centos xorg 服务
xorg称为X服务,是管理centos界面的[root@localhost 桌面]# cd /etc/X11/[root@localhost X11]# lsapplnk xinit xorg.conffontpath.d Xmodmap xor原创 2017-04-05 17:09:23 · 6959 阅读 · 0 评论 -
centos 安装 nvidia的两种方式
大部分 Linux 发行版都使用开源的显卡驱动 nouveau,对于 nvidia 显卡来说,还是闭源的官方驱动的效果更好。最明显的一点是,在使用 SAC 拾取震相的时候,使用官方显卡驱动在刷新界面的时候要快很多。对于 CentOS 用户而言,有两种安装 NVIDIA 显卡驱动的方法,从 ELRepo 源中安装或从源码编译驱动。对于一般的 CentOS 用户,建议使用第一种方法。原创 2017-04-05 11:09:43 · 33140 阅读 · 2 评论 -
强化学习和监督学习的一些区别
强化学习要求agent去探索环境,然后对状态进行evaluate,在每一个状态下agent可以选择多种action,每次选择的依据可以是贪婪或者softmax等,但是得到的reward是无法表明当前的选择是正确的还是错误的,得到的只是一个score,监督学习的labels可以给agent简洁明了的correct or wrong,并且在agent 在对环境充分的探索前即在每一种状态下选择的每个原创 2017-03-29 08:50:00 · 7551 阅读 · 0 评论 -
深度学习 之 keras
注意使用keras 首先压迫安装theano 或者tensorflow,keras默认使用tensorflowGetting started: 30 seconds to KerasThe core data structure of Keras is amodel, a way to organize layers. The simplest type of model is原创 2017-03-22 18:40:05 · 2232 阅读 · 0 评论 -
知识图谱的理解
记得我读小学那会儿,语文老师时常念的一些话就是:“知识改变未来,知识改变人生”,数学老师就会说:“学好数理化,走遍天下都不怕”,表达的都是知识的重要性,而时至今日,我身边已然没有人再说这些,因为对于知识重要性的认知已经融入大家的血液中了。随着时代的发展,我们进入了前所未有的信息大爆炸时代,信息背后蕴藏着的则是海量的知识,而知识带动着整个社会的发展与进步。早在远古时代,也许几块石头或者一个原创 2017-03-22 17:03:47 · 8848 阅读 · 1 评论 -
itorch 安装
pip install ipythonpip install notebookpip install jupytersudo apt-get install python-zmqsudo apt-get install python-jinja2sudo pip install tornadosudo apt-get install python-jsonschema把ipyth原创 2017-03-22 11:19:50 · 3178 阅读 · 0 评论 -
深度学习框架的比较(MXNet, Caffe, TensorFlow, Torch, Theano)
1. 基本概念1.1 MXNet相关概念 深度学习目标:如何方便的表述神经网络,以及如何快速训练得到模型 CNN(卷积层):表达空间相关性(学表示) RNN/LSTM:表达时间连续性(建模时序信号) 命令式编程(imperative programming):嵌入的较浅,其中每个语句都按原来的意思执行,如numpy和Torch就是属于这种原创 2017-03-21 15:22:42 · 881 阅读 · 0 评论 -
tensorflow常用函数 (二)
摘要:本文主要对tf的一些常用概念与方法进行描述。1、tensorflow的基本运作为了快速的熟悉TensorFlow编程,下面从一段简单的代码开始:import tensorflow as tf #定义‘符号’变量,也称为占位符 a = tf.placeholder("float") b = tf.placeholder("float") y = tf.mul(原创 2017-03-17 09:58:31 · 899 阅读 · 0 评论 -
pca 降纬原理
pca降纬原理:让N纬输入变量降为M纬:让输出变量不同纬度的协方差(即相关性,或影射到空间中的基向量正交无关)为0,并且取输入变量不同纬度的方差最大的M个纬度。PCA(Principal Component Analysis)是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示,可用于提取数据的主要特征分量,常用于高维数据的降维。网上关于PCA的原创 2017-03-05 14:45:33 · 2022 阅读 · 0 评论 -
tensorflow 卷积神经网络
网上搜集已经大概解释了tensorflow的大概运行流程,并且提供了一个mnist数据集分类器的简单实现。当然,因为结构简单,最后的准确率在91%左右。似乎已经不低了?其实这个成绩是非常不理想的。现在mnist的准确率天梯榜已经被刷到了99.5%以上。为了进一步提高准确率,官网还提供了一个多层的CNN分类器的代码。相比之前的一层神经网络,这份代码的主要看点倒不是多层,而是C原创 2017-03-02 17:59:01 · 987 阅读 · 0 评论 -
tensorflow `conv2d max_pool 方法参数
第一篇1、padding的方式:说明:1、摘录自http://stackoverflow.com/questions/37674306/what-is-the-difference-between-same-and-valid-padding-in-tf-nn-max-pool-of-t2、不同的padding方式,VALID是采用丢弃的方式,比如上原创 2017-03-02 15:28:10 · 3948 阅读 · 0 评论 -
cuda 编程
CUDA从入门到精通(零):写在前面在老板的要求下,本博主从2012年上高性能计算课程开始接触CUDA编程,随后将该技术应用到了实际项目中,使处理程序加速超过1K,可见基于图形显示器的并行计算对于追求速度的应用来说无疑是一个理想的选择。还有不到一年毕业,怕是毕业后这些技术也就随毕业而去,准备这个暑假开辟一个CUDA专栏,从入门到精通,步步为营,顺便分享设计的一些经验教训,希望能原创 2017-02-21 17:56:49 · 1164 阅读 · 2 评论 -
lua 语言介绍及安装
Lua 教程Lua 是一种轻量小巧的脚本语言,用标准C语言编写并以源代码形式开放, 其设计目的是为了嵌入应用程序中,从而为应用程序提供灵活的扩展和定制功能。Lua 是巴西里约热内卢天主教大学(Pontifical Catholic University of Rio de Janeiro)里的一个研究小组,由Roberto Ierusalimschy、Waldemar Ce原创 2017-02-21 17:04:11 · 662 阅读 · 0 评论 -
torch 安装
torch 官网http://torch.ch/Installing TorchWe provide a simple installation process for Torch on Mac OS X and Ubuntu 12+:Torch can be installed to your home folder in ~/torch by running thes原创 2017-02-21 16:23:00 · 1327 阅读 · 0 评论 -
tensorflow 关于张量 shape 数组
```python # 2-D tensor `a` a = tf.constant([1, 2, 3, 4, 5, 6], shape=[2, 3]) => [[1. 2. 3.] [4. 5. 6.]] # 2-D tensor `b` b = tf.constant原创 2017-02-21 14:10:08 · 39900 阅读 · 5 评论 -
TensorFlow 教程
术语表广播操作(Broadcasting operation)一种用numpy-style broadcasting来保证tensor参数的形态兼容的操作。Devices一块可以用来运算并且拥有自己的地址空间的硬件,比如GPU和CPU。evalTensor 的一个方法,返回 Tensor 的值。触发任意一个图计算都需要原创 2017-02-21 09:31:39 · 10264 阅读 · 0 评论 -
textblob 自己训练模型
textblob 实际上是封装了以下nltk,几乎所有方法都是调用的nltk库。还是用上一篇的训练性别的例子。#coding=utf-8import random, nltkfrom nltk.corpus import namesfrom textblob.classifiers import NLTKClassifierfrom textblob import TextBlob原创 2017-02-17 16:27:18 · 2300 阅读 · 0 评论 -
nltk 自己训练模型例子
NLTK是Python的一个自然语言处理的模块,其中实现了朴素贝叶斯分类算法。以下,就使用上一篇文中提到的数据,来应用这个模块实现朴素贝叶斯分类。NLTK的实现更加泛化,所以在应用到我们的数据上时需要做一点的转化。首先来看一下NLTK官方文档中给出的一个简单明了的例子,在了解这个例子之后,再设法将同样的模型应用到自己的数据集上。官方给出的例子是英文名中,在知道名字中最后一个字母原创 2017-02-17 15:06:37 · 3548 阅读 · 0 评论 -
tensorFlow 教程
TensorFlow入门教程之1: 基本概念以及理解TensorFlow入门教程之2: 安装和使用TensorFlow入门教程之3: CNN卷积神经网络的基本定义理解TensorFlow入门教程之4: 实现一个自创的CNN卷积神经网络TensorFlow入门教程之5: TensorBoard面板可视化管理TensorFlow入门教程之6: AlphaGo 的策略网络原创 2017-01-24 09:16:18 · 861 阅读 · 0 评论 -
零基础入门深度学习(6) - 长短时记忆网络(LSTM)
在上一篇文章《零基础入门深度学习(4):循环神经网络》中,我们介绍了循环神经网络以及它的训练算法。我们也介绍了循环神经网络很难训练的原因,这导致了它在实际应用中,很难处理长距离的依赖。在本文中,我们将介绍一种改进之后的循环神经网络:长短时记忆网络(Long Short Term Memory Network, LSTM),它成功地解决了原始循环神经网络的缺陷,成为当前最流行的RNN,在语音识别原创 2017-01-24 17:33:23 · 8594 阅读 · 0 评论 -
jieba 分词 centos 安装,python使用
特点1,支持三种分词模式: a,精确模式,试图将句子最精确地切开,适合文本分析; b,全模式,把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义; c,搜索引擎模式,在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。 2,支持繁体分词3,支持自定义词典安装1,Python 2.x 下的安装全自动安装原创 2017-01-20 11:19:30 · 4610 阅读 · 0 评论 -
word2vec 自己训练中文语料
(1) 准备文本可以用爬虫爬,也可以去下载,必须是全文本。(2)对数据进行分词处理因为英文但此只见是空格所以不需要分词,二中文需要分词,中文分词工具还是很多的,我自己常用的: - 中科院NLPIR - 哈工大LTP - 结巴分词注意:分词后保存的文件将会作为word2vec的输入文件进行训练(3)训练与实验python 需要先安装gensim,参考h原创 2017-01-20 11:16:53 · 13374 阅读 · 2 评论 -
word2vec centos 安装
安装步骤1、下载word2vec,其目录结构如下:2、进入word2vec所在目录,使用make指令进行安装[plain] view plain copy make可以发现在安装的时候,会出现如下error:[plain] view plain copy gccwo原创 2017-01-19 16:07:44 · 1062 阅读 · 0 评论 -
word2vec 入门基础(一)
一、基本概念word2vec是Google在2013年开源的一个工具,核心思想是将词表征映射为对应的实数向量。目前采用的模型有一下两种CBOW(Continuous Bag-Of-Words,即连续的词袋模型)Skip-Gram项目链接:https://code.google.com/archive/p/word2vec二、背景知识词向量词向量就是用来将语言中的原创 2017-01-19 16:06:20 · 1044 阅读 · 0 评论 -
word2vec 入门(二)
word2vec要解决问题: 在神经网络中学习将word映射成连续(高维)向量,这样通过训练,就可以把对文本内容的处理简化为K维向量空间中向量运算,而向量空间上的相似度可以用来表示文本语义上的相似度。一般来说, word2vec输出的词向量可以被用来做很多 NLP 相关的工作,比如聚类、找同义词、词性分析等等。另外还有其向量的加法组合算法。官网上的例子是 :vector('Paris'原创 2017-01-19 15:49:31 · 1742 阅读 · 0 评论 -
python 使用 CRFPP包错误问题
源码安装好crf++后,可能会遇到以下问题.(1)如果python要使用CRFPP包,必须安装python的依赖包,在下载源码解压后的 CRF++-0.58/python路径下运行以下命令python setup.py buildsudo python setup.py install(2)然后在Python 或者Ipython 里输入 import CR原创 2017-01-18 19:43:55 · 6537 阅读 · 1 评论 -
CRF 安装错误
在平时工作中经常用到条件随机场(CRF)进行任务处理,比如做一些标注工作和命名实体识别工作。自己比较常用的工具就是CRF++。下载地址为:https://code.google.com/p/crfpp/(此下载地址已不可用)。官网地址为:https://taku910.github.io/crfpp/windows下面直接使用即可,Linux需要做一些编译任务。下载后解压缩进入目录。运行命原创 2017-01-18 19:35:36 · 1707 阅读 · 0 评论