机器学习
文章平均质量分 90
机器学习项目学习
xiaomu_347
这个作者很懒,什么都没留下…
展开
-
神经网络之loss总结学习
影响一个网络性能的因素很多,网络结构,参数优化,loss约束等,这里就常见的几种loss进行比较总结。其中(1)(2)(3)为回归损失,(4)(5)(6)为分类损失。(1)MSE(均方误差)均方误差(MSE)是回归损失函数中最常用的误差,也常被称为L2 loss,它是预测值与目标值之间差值的平方和,其公式如下所示:,有时也写成这样优点:各点都连续光滑,方便求导,具......原创 2019-12-07 17:58:56 · 14309 阅读 · 0 评论 -
大数据之hadoop与spark
分布式计算这一块,自己也是刚接触不久,故在此做一下简单的记录,以便后续的学习。首先总结一下市面上的主要大数据解决方案:解决方案 开发商 类型 描述 storm Twitter 流式处理 Twitter 的新流式大数据分析解决方案 S4 Yahoo! 流式处理 来自 Yahoo! 的分布式流计算平台 Hadoop ...原创 2019-10-28 14:55:21 · 510 阅读 · 0 评论 -
一招解决mxnet预训练模型参数下载慢/git clone慢的问题
在做迁移学习时,难免会碰到要下载预训练模型参数的时候,但是由于服务器是在国外,在国内下载速度贼慢,这时候怎么办呢?你可能需要这篇博客了!具体步骤如下:找到你想要下载的预训练模型在mxnet里面,通过model_zoo来实现预训练模型加载,mxnet提供了两种方式####第一种方式from mxnet.gluon.model_zoo import vision as mod...原创 2019-10-27 22:20:22 · 1938 阅读 · 0 评论 -
图像分类任务中的tricks总结
本文转载来自机器学习小王子(ID:MachineLearningLab),原文链接图像分类任务中的tricks总结。计算机视觉主要问题有图像分类、目标检测和图像分割等。针对图像分类任务,提升准确率的方法路线有两条,一个是模型的修改,另一个是各种数据处理和训练的技巧(tricks)。图像分类中的各种技巧对于目标检测、图像分割等任务也有很好的作用,因此值得好好总结。本文在精读论文的基础上,总结...转载 2019-10-22 10:00:51 · 1541 阅读 · 0 评论 -
机器学习训练中图像处理常用到的几个小函数
最近在忙于图像处理,经常会需要用到批重命名、批resize、对图像进行分割、对图像进行旋转拉伸加噪点等数据扩容方式、对图像数据集打乱、切分训练集和验证集等操作,下面就这些操作进行下面总结:(1)renameimport ospath="I:\\Sample"count=1for item in os.listdir(path): src=os.path.join...原创 2020-04-20 09:59:36 · 2257 阅读 · 1 评论 -
深度学习框架比较分析及各种版本mnist识别
现在市场上流行的深度学习框架很多,常用的有tensorflow, keras,MXNet, Torch, Caffe, Theano等几种,通过对比分析可以得到:框架 开发语言 优劣及难易程度 tensorflow c++/cuda/python 资料全,灵活性好,适应性广,但前期上手难 keras c++/cuda/python ...原创 2019-09-06 09:37:31 · 717 阅读 · 0 评论 -
机器学习之sklearn库学习
作为机器学习入门库,scikit-learn简单易上手,而且功能比较齐全,能够实现分类、回归、聚类、降维等操作。下面就该库的学习做一下简单记录。一、了解skleran这里别人写的很清楚,可以参考学习下,链接:https://blog.csdn.net/u014248127/article/details/78885180与https://blog.csdn.net/lin...转载 2019-07-23 15:18:39 · 502 阅读 · 0 评论 -
ubuntn系统下cuda+cudnn安装教程
在离开之际,将自己的电脑系统重新升级了下,在此做如下记录,以便后续查证。1、双系统安装 这里只是简单说下,win10+Ubuntu,这次采用的Ubuntu分区是“boot”+“swap”+“/”的形式,具体可以去参考另一篇博客。2、cuda安装(1)下载安装文件检查自己的电脑配置是否支持cuda加速(一般英伟达系列显卡支持),这里推荐直接去https://d......原创 2019-06-08 22:53:30 · 3545 阅读 · 0 评论 -
python之白话切片
在刚接触python语言时,你也许经常会碰到[:],[:1],[::-1]等这些形式,本文就这种切片现象进行一定的总结。切片,顾名思义就是截断,通常他们会出现在对字符串,矩阵只需要对部分内容操作之际,需要记住的是a[-1]表示的是a的最后一个元素。下面就由此入手进行描述。 通常一个切片操作要提供三个参数 [start_index: stop_index: step] ...原创 2019-06-13 22:02:45 · 251 阅读 · 0 评论 -
机器学习之网络爬虫
在进行爬虫实验时,我们通常需要模拟浏览器访问目标网站,从而download下我们需要的一些资源。这时候我们需要了解一些网页前端的知识,结合我们常用的Chrome浏览器,这里进行一点简单的总结:Chrome开发者工具 直接在目标网页按下F12或鼠标右键查看网页源码即可进入以下界面通常使用较多的四个功能页面是:元素(ELements) ...原创 2019-05-04 19:53:40 · 3044 阅读 · 0 评论 -
机器学习之字符正则匹配
正则表达式 (Regular Expression) 又称 RegEx, 是用来匹配字符的一种工具. 在一大串字符中寻找你需要的内容. 它常被用在很多方面, 比如网页爬虫, 文稿整理, 数据筛选等等.最简单的一个例子, 比如我需要爬取网页中每一页的标题. 而网页中的标题常常是这种形式.<title>我是标题</ title>而且每个网页的...原创 2020-03-04 16:50:15 · 281 阅读 · 0 评论 -
机器学习中利用国内镜像安装包
由于我们需要的一些机器学习的包需要在国外网站上下载,鉴于国内的种种限制,我们往往需要借助国内的镜像来实现快速下载,这里就常用的几个做一下总结:(1)国内常用镜像 国内源: 清华:https://pypi.tuna.tsinghua.edu.cn/simple阿里云:https://mirrors.aliyun.com/pypi/simple/中国科技大学 ht...原创 2018-12-18 16:18:32 · 1741 阅读 · 0 评论 -
机器学习中常见的动态图和静态图
在我们日常学习中总是听到动态图和静态图的概念,今天就在这里做一个小总结,提醒自己. 目前神经网络框架分为静态图框架和动态图框架,PyTorch 和 TensorFlow、Caffe 等框架最大的区别就是他们拥有不同的计算图表现形式。 TensorFlow 使用静态图,这意味着我们先定义计算图,然后不断使用它,而在 PyTorch 中,每次都会重新构建一个新的计算图。他...转载 2018-12-23 20:34:57 · 20153 阅读 · 0 评论 -
机器学习中远程控制电脑训练
有时候大家需要离开电脑前,但是又需要时刻关注着电脑上程序的运行情况等,这时候我们就需要用到远程控制。常见的方法有如下两种:(1)借助第三方软件借助第三方软件的好处就是方便快捷,可视化效果好,缺点也是比较明显的----收费!!!但是如果我们只是需要简单的操作的话还是有些工具可以用的,这里我推荐teamviewer。下载链接:https://www.teamviewer.com/...原创 2018-12-22 23:16:13 · 1271 阅读 · 0 评论 -
深度学习中常见的打标签工具和数据集集合
集大家之所长汇集于此,希望对有需要的你能有所帮助。一、打标签工具(1)labelimg/labelme这两款工具简便易行,前者主要用于对目标进行大致的标定,用于常见的框选标定,后者主要用于较为细致的轮廓标定,多用于mask rcnn等。安装也是很方便的,直接在终端下用pip install labelimg即可(至于labelme,需要先安装pyqt,所以先pip insta...原创 2018-11-05 11:12:34 · 47976 阅读 · 12 评论 -
从CNN到SSD目标检测机器学习方法总结
目标检测方法比较:object detection我的理解,就是在给定的图片中精确找到物体所在位置,并标注出物体的类别。object detection要解决的问题就是物体在哪里,是什么这整个流程的问题。其中检测算法的发展如下,本文主要关注后半部分的,首先可以看一下CNN,它主要用来提取图像特征做分类。(一)图像分类:CNNhttps://blog.csdn.net/l...转载 2018-09-03 11:36:56 · 5568 阅读 · 1 评论