机器学习
零壹博弈
渐渐地,我们也会成为别人口中的大佬
展开
-
手把手教学Deeplearning Ubuntu 18.04 LTS安装cuda10.1和cudnn7.6.5 和Anaconda 配置流程拯救者Y7000亲测有效(1)
最近安装了双系统,用于深度学习。一个win10一个ubuntu18.04。博主的方法比较简单。1、cuda安装1、下载和安装虽然别人都说不太好安装,但是在博主的电脑上安装还是比较流畅的。首先去NVIDIA官网下载cuda安装包博主的电脑是GTX1650的显卡,后面主要需要用的是Tensotflow1.5 2.1 2.2这几个版本。还有Pytorch1.5 1.6这两个版本。因此博主选择的是cuda10.1,后续还会安装cudnn7.6.5。其实官网已经给出了安装教程,只有两行执行一下就好。原创 2020-12-23 11:41:39 · 517 阅读 · 0 评论 -
Ubuntu与Win10双系统启动界面优化——附Cyberpunk主题下载
最近博主在自己的拯救者Y7000上装了双系统,Ubuntu和Win10共存。利用的是Ubuntu引导系统启动选择,但是Ubuntu的原生启动界面太丑了,于是乎找了个美化网站。美化网站链接这个网站好像需要科学上网,大家可以试试看。下载了Cyberunk的主题。作为启动引导界面的美化。考虑到大家科学上网不太方便,博主上传了一个蓝奏的链接供大家自取下载之后,进入自己的下载文件夹,解压到当前文件夹。然后在终端中进入这个文件夹。会看到里面有一个 install.sh然后 sudo ./install原创 2020-12-21 14:23:09 · 937 阅读 · 0 评论 -
解决tensorflow.python.framework.errors_impl.UnknownError: Failed to get convolution algorithm.
使用tensorflow2.x 时报错:tensorflow.python.framework.errors_impl.UnknownError: Failed to get convolution algorithm. This is probably because cuDNN failed to initialize, so try looking to see if a warning log message was printed above. [[node model/conv2d/Con原创 2020-10-08 20:34:35 · 1039 阅读 · 1 评论 -
机器学习算法——利用AdaBoost元算法提高分类性能(基于单层决策树构建的弱分类器)
集成学习——AdaBoost元算法集成学习集成学习当做出重要决定时,我们往往会听取多个专家而不只是一个人的意见。元算法正是采用这种思路,元算法是对其他算法进行组合的一种方式,本篇博文主要介绍AdaBoost元算法,该算法是机器学习工具箱中最强有力的工具之一。...原创 2020-09-10 17:06:56 · 2170 阅读 · 0 评论 -
机器学习算法——k-均值聚类算法对未标注数据分组
k-均值聚类算法对未标注数据分组0、前言1、k-均值聚类算法2、对于k-means的算法优化2.1对聚类得到的簇进行二次处理2.2二分k-均值聚类算法3、对纽波兰的地理位置进行聚类3.1我们按照以下几个流程完成项目:3.2具体代码实现4、小结学习永无止境,后续还会有更多的算法学习及实例尝试。0、前言聚类是一种无监督的学习,它将相似的对象归到同一簇中。它有点像全自动分了。聚类方法几乎可以应用到所有对象,簇内的对象越相似,聚类的效果越好。本章要学习一种称为K-均值(K-means)聚类的算法。之所以称之为K原创 2020-09-03 16:42:33 · 967 阅读 · 1 评论 -
机器学习算法——朴素贝叶斯(贝努利模型和多项式模型实现分类)
朴素贝叶斯算法0、朴素贝叶斯是贝叶斯决策理论的一部分。之所以称之为“朴素”,是因为整个形式化过程只做最原始、最简单的假设。1、文本分类实例2、朴素贝叶斯过滤垃圾邮件3、使用朴素贝叶斯分类器从个人广告4、小结学习永无止境,后续还会继续更新其他的机器学习算法。0、朴素贝叶斯是贝叶斯决策理论的一部分。之所以称之为“朴素”,是因为整个形式化过程只做最原始、最简单的假设。1、算法优缺点比较优点:在数据较少的情况下仍然有效,可以处理多类别问题缺点:对于输入数据的准备方式较为敏感使用数据类型:标称型数据2、关原创 2020-09-02 21:35:19 · 2088 阅读 · 0 评论 -
机器学习算法——K-近邻算法(代码实现手写数字识别)
0、引言,K-近邻算法是一种非常有效的分类算法,它非常有效且易于掌握。原理:K-近邻算法通过计算不同样本之间的距离来分类物品。使用前,我们需要有一个训练样本集,并且样本集中每个数据都存在标签,即我们知到样本集中每一数据与其所述分类的对应关系。输入没有标签的新数据,将新数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取样本集中特征最相似(最近邻)的分类标签。一般来说,我们只选择样本数据集中前K个最相似的数据,这就是k-近邻算法中k的由来,通常k是不大于20的整数。最后,选择k个最相似数据中出现频原创 2020-09-01 22:39:32 · 3497 阅读 · 6 评论 -
机器学习算法——决策树算法(ID3算法划分数据集,基于香农熵的python底层实现)
决策树算法是一种非参数的决策算法,它根据数据的不同特征进行多层次的分类和判断,最终决策出所需要预测的结果。它既可以解决分类算法,也可以解决回归问题,具有很好的解释能力。决策树就如上图所示,决策树算法能够读取数据集合,构建类似于上图的决策树。决策树的一个重要任务是为了厘清数据中所蕴含的知识信息,因此决策树可以使用不熟悉的数据集合,并从中提取出一系列规则,在这些机器根据数据集创建规则时,就是机器学习的学习过程。传统的专家系统中经常使用决策树,而且决策树给出的结果往往可以匹敌在当前领域具有几十年工作经验的原创 2020-08-29 17:25:58 · 1875 阅读 · 0 评论 -
机器学习算法——SVM支持向量机(基于sklearn代码实现)
SVM在解决分类问题具有良好的效果,出名的软件包有libsvm(支持多种核函数),liblinear。此外python机器学习库scikit-learn也有svm相关算法sklearn.svm.SVC和sklearn.svm.LinearSVC 分别由libsvm和liblinear发展而来。使用SVM的一般步骤为:读取数据,将原始数据转化为SVM算法软件或包所能识别的数据格式;将数据标准化;(防止样本中不同特征数值大小相差较大影响分类器性能)选择核函数,在不清楚何种核函数最佳时,推荐尝试RBF原创 2020-08-28 17:02:47 · 2083 阅读 · 0 评论 -
深度学习系列笔记——贰 (基于Tensorflow2 Keras迁移学习,使用预训练模型解决猫狗大战 四)
深度学习系列笔记——贰 (基于Tensorflow Keras搭建的猫狗大战模型 一)深度学习系列笔记——贰 (基于Tensorflow Keras搭建的猫狗大战模型 二)深度学习系列笔记——贰 (基于Tensorflow2 Keras搭建的猫狗大战模型 三)本篇博客是对于之前猫狗大战的补充,猫狗大战使用的是我们自己的模型,输入的图像尺寸是200x200x3,接下来,在之前的基础上,我们更改一下模型,并且把之前的输入尺寸进行一定的改动,使用经典的VGGNet(包含vgg16和vgg19),提升我们模型原创 2020-08-27 21:12:50 · 1206 阅读 · 2 评论 -
深度学习系列笔记——杂记(TensorBoard使用)
博主使用的是TF2.1版本所用的Tensorboard ,代码结构如下#这里设置的是回调,用于断点续训,详情可百度之cp_callback = tf.keras.callbacks.ModelCheckpoint( filepath=checkpoint_save_path, save_weights_only=True, save_best_only=True)tb_callbacks = tf.keras.callbacks.TensorBoard( log_dir=原创 2020-08-23 10:51:29 · 465 阅读 · 0 评论 -
深度学习系列笔记——肆 (基于tensorflow.data.Dataset对于数据的读取和使用 一)
官网对于Tensorflow数据的读取介绍的比较隐蔽,而网上搜到的多是利用里分类好的数据,直接load_data(),就完成了数据的导入。但是事实上,很多情况下我们必须学会自己处理数据集,这也成为了很多新手入门时遇到的一个大问题,下面博主转载几篇介绍的非常好的博客,虽然他们基于tf1.x,但是Dataset在tf2.x环境下依然非常实用,因此这里先转载过来,后续将会据此实现几个实际的项目案例,便于我们对Tensorflow的数据读取有一定程度的了解。下面几位博主对于Dataset的介绍非常详尽,另外如果原创 2020-08-21 17:57:04 · 222 阅读 · 0 评论 -
深度学习系列笔记——贰 (基于Tensorflow2 Keras搭建的猫狗大战模型 三)
深度学习系列笔记——贰 (基于Tensorflow Keras搭建的猫狗大战模型 一)深度学习系列笔记——贰 (基于Tensorflow Keras搭建的猫狗大战模型 二)前面两篇博文已经介绍了如何利用keras搭建出简单的模型,接下来,在前面训练好的基础上,进行模型的使用。即调用训练好的模型对图片进行预测。1、调用模型进行图片预测需要注意的是,前面为了快速训练模型,并未开启save功能,此处需要开启之。以便保存模型,保存模型的方法还有很多,读者可以自行百度之,此处提供一种帮助大家学习。下面直接原创 2020-08-21 14:31:41 · 2930 阅读 · 12 评论 -
深度学习系列笔记——贰 (基于Tensorflow Keras搭建的猫狗大战模型 二)
经过上一篇的数据处理,我们继续搭建我们的猫狗大战项目,本篇主要介绍有关模型搭建的方法,数据处理可以参考上一篇博文:深度学习系列笔记——贰 (基于Tensorflow Keras搭建的猫狗大战模型 一)0、数据 (代码和上一篇的一样,此处不再赘述)# 导入包import tensorflow as tffrom tensorflow.keras.preprocessing.image import ImageDataGeneratorfrom tensorflow.keras import laye原创 2020-08-21 12:13:20 · 1054 阅读 · 0 评论 -
深度学习系列笔记——贰 (基于Tensorflow Keras搭建的猫狗大战模型 一)
猫狗大战是著名的竞赛网站kaggle几年前的一个比赛,参赛者得到猫狗各12500张图片,作为训练集,另外还会得到12500张猫和狗的图片,作为验证。最后提交结果至kaggle平台,获得评测分数。本篇博文基于python3.7,Tensorflow2.1GPU版本,运行在Win10,pycharm作为IDE。相应的环境搭建,可以看博主之前的博文。深度学习系列笔记——壹(深度学习环境的搭建及填坑之旅,基于windows)kaggle猫狗大战官方链接kaggle的注册和简单使用,本博客不再赘述,自行百度原创 2020-08-21 11:11:26 · 1587 阅读 · 1 评论 -
使用pip、conda、pycharm使用杂记,记录各类使用时出现的问题,持续更新
执行pip既可以在cmd中,例如进入anaconda环境,切换至相应的环境。也可以在pycharm中执行,其实是转接到了cmd。在pycharm最下方的terminal:1、国内网络不稳定时,换用镜像源加速安装(国内的源大部分常用包都有)pip install 包名 -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com–trusted-host指的是信任该镜像源,不然很可能报错,注意是双横线“–”。2、安装yamL 文原创 2020-08-14 17:58:19 · 285 阅读 · 0 评论 -
could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR问题解决方案
最近在训练CNN的时候,会出现这个。tensorflow能够成功导入,但是在导入keras模型(例如在使用vgg19时),出现了。声明一下,我这里出现问题的时使用的是Tensorflow2.1gpu版本的,1.x的我不太确定能不能解决。可以一试。网上查阅的资料解释为显存不够,或者cudnn版本不对,但是我在之前跑一些简单模型时,都未曾出现过这个问题,因此显存不够导致报错的可能性更大。不过解决办法我也找到了,有两种(其实本质还是差不多的):修改时,直接将下面的代码放到导入的库后面,比如这样:第一种原创 2020-08-13 18:26:01 · 739 阅读 · 0 评论 -
OpenCV基础入门系列基本操作——叁
系列博文第三篇,关于OpenCV4的一些基本操作和使用。博文主要以实例展示不同的函数使用方法。OpenCV基础入门系列基本操作——壹OpenCV基础入门系列基本操作——贰运行环境,win10 + VS2019 + OpenCV430本文用到的头文件#include <iostream>#include "opencv2/imgcodecs.hpp"#include "opencv2/highgui.hpp"#include "opencv2/imgproc.hpp"#incl原创 2020-08-06 16:38:19 · 587 阅读 · 0 评论 -
OpenCV基础入门系列基本操作——零(基于VS2019在win10下安装OpenCV430,附带配置项目属性表方法)
这一篇主要用于安装及部署OpenCV环境由于VS2017和VS2019在部署OpenCV上有部分差异,因此本篇博文主要介绍一下关于VS2019在win10下部署OpenCV430的过程。环境:win10x64 + vs2019pro + opencv4.301、下载及解压安装官方源在国内下载速度太慢了,官网下载地址直接百度即可。直接用浏览器下载速度会让你怀疑人生,因此博主推荐用国内的镜像源,或者博主这里给出上传到百度网盘的链接,供大家使用。其中包含了OpenCV331 , OpenCV430的安原创 2020-08-04 14:04:45 · 536 阅读 · 1 评论 -
OpenCV基础入门系列基本操作——贰
系列博文第二篇,关于OpenCV4的一些基本操作和使用。博文主要以实例展示不同的函数使用方法。OpenCV基础入门系列基本操作——壹前言下述为本博文需要用到的各类头文件以及全局变量等读者可根据具体使用进行修改#include <opencv2/opencv.hpp>#include <opencv2/core.hpp>#include <opencv2/highgui.hpp>#include<opencv2/imgproc.hpp>#in原创 2020-07-26 18:26:31 · 488 阅读 · 2 评论 -
深度学习系列笔记——壹(深度学习环境的搭建及填坑之旅,基于ubuntu)
作为一名炼丹师,要学会使用世界上最稳定的系统之一,ubuntu。这篇博客主要介绍Ubuntu在VMware下的安装,以及TensorFlow2.x和PyTorch1.x的搭建和测试。首先你需要在电脑上安装VMware,限于篇幅,VMware的下载安装等,读者可自行百度之。1、在官网下载Ubuntu博主在下载时,选择的是最新的Ubuntu20.04,desktop版。单击即可下载,附上官网链接。2、利用VMware的简易安装,快速部署Ubuntu。1、进入虚拟机安装向导择创建新的虚拟机2、使原创 2020-07-26 15:16:56 · 279 阅读 · 0 评论 -
深度学习系列笔记——壹(深度学习环境的搭建及填坑之旅,基于windows)
利用Anaconda,简单搭建TensorFlow 和 PyTorch原创 2020-07-26 10:03:58 · 2851 阅读 · 14 评论 -
OpenCV基础入门系列基本操作——壹
OpenCV的C++实验的过程,实现方法和代码示例原创 2020-07-18 19:15:54 · 850 阅读 · 1 评论 -
关于机器学习中迁移学习的一些看法
本文链接:https://blog.csdn.net/weixin_45709671/article/details/102160070关于机器学习中深度学习的一些看法本文意见部分参考自https://www.cnblogs.com/nwnu-daizh/p/8448113.html目前,传统机器学习的研究方向主要包括决策树、随机森林、人工神经网络、贝叶斯学习 ,关联规则,期望最大化,深度学...原创 2019-10-05 17:59:18 · 1258 阅读 · 0 评论