机器学习
文章平均质量分 93
老潘的博客
老潘的博客,程序员眸中的fantasy life,分享AI技术干货,让大家少走弯路~
展开
-
AI工程师的笔记本环境配置
还是爱折腾...前一阵子买了个新的笔记本电脑,幻13-3050TI-1T版本,全能本,CPU是8核心16线程的标压版AMD锐龙9-5900HS,显卡是NVIDIA-3050TI,重量和macbook差不多,都是1.4kg,便携、可以改变形态。大概长这样:可以变换3种形态(莫名有种兴奋感),可能也有人问我为啥不买macbook,没买的原因有两点:macbook不支持nvidia显卡,这个无解,没办法本地跑AI代码,只能远程服务器macbook用腻了,有一点审美疲劳,新版的macbook pro也原创 2022-05-21 21:35:33 · 1976 阅读 · 1 评论 -
聊聊阅读源码那些事儿
大家好我是老潘,我们又见面了~如果下文中有格式方面的错误,可以点击这里查看原文。老潘的AI宝藏内容也总结在这里!看源码本身就是一种学习,就像小时候写作文一样,看别人的好作文也就会模仿一些好的句子,一些好的段落。看源码也一样,不同大厂的源码写的风格也不一样,惯用的技巧也不一样,强调的规范也不一样,使用的C++标注也不一样(C++11、C++14等等)。但是如果想要深入学习一个框架的底层,看源码是必须的。我看过不少源码,也模仿过一些大厂源码的例子。最常见的例子就是抽象类、工厂、单例、注册等等机制原创 2021-10-04 12:15:19 · 728 阅读 · 0 评论 -
CVer最想知道的,简单分析下《2020年度中国计算机视觉人才调研报告》
最近闲来无事,老潘以一名普通算法工程师的角度,结合自身以及周围人的情况,理性也感性地分析一下极市平台前些天发布的2020年度中国计算机视觉人才调研报告。以下的“计算机视觉人才”简称“人才”,感觉说人才有点怪怪的感觉?自己也算人才么?老潘只不过是一个普普通通的算法工程师罢了(逃)。这个报告一共分为几个方面,用大白话讲一下就是:计算机人才哪个城市最多,哪个专业最多、都喜欢发些什么论文、喜欢什么编程语言、深度学习框架、工作地点等等作为计算机人才,我们应该学习什么才能不被社会所淘汰,如何提升自己计算原创 2021-02-23 23:21:19 · 1249 阅读 · 0 评论 -
2021年,我们还需要入门深度学习吗?
前言过年时闲来无事,瞎翻自己的博客,偶然看到之前写的一篇文章:一篇文章解决机器学习,深度学习入门疑惑这篇文章原先发布于2018年中旬,那会正是深度学习、神经网络无脑火热的时候。火热到什么程度?火热到显卡一度卖脱销(不是因为挖矿),研究生导师集体推荐学生转深度学习方向、毕业论文不带“深度学习”四个字都毕不了业、大街上随便拉个学生问都认识吴恩达。就这个火的程度,我那会也毅然决然地踏入了深度学习的大军,开始追星(吴恩达、李宏毅),开始上课(CS231n、CS229),开始学习框架(Pytorch、Te原创 2021-02-15 23:25:35 · 1755 阅读 · 3 评论 -
只需半小时,搭建paddlepaddle-OCR识别服务(识别身份证、资格证等)
前言简单尝试了下paddleOCR的最新版(2021),只需要几行命令就可以很快地在本地部署一个OCR识别系统。如果不想看下文,依次执行以下命令即可搭建(注意:仅在linux系统中测试,其他系统也可参照):# 有anaconda系统可以跳过sh Anaconda3-2020.03-Linux-x86_64.shconda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/conda con原创 2021-02-02 22:32:18 · 6827 阅读 · 2 评论 -
win10下Anaconda3配置环境变量
有时候在win10安装好Anaconda3后,使用conda命令时依然会出现:C:\Users\dell\PycharmProjects\pytorch>conda list'conda' 不是内部或外部命令,也不是可运行的程序或批处理文件。这样的情况大部分时因为在安装的时候,没有将anaconda命令加入到系统的环境变量中。与LINUX类似,WINDOW系统设置环境变量也很简单,在我的电脑右原创 2017-11-17 16:04:03 · 25845 阅读 · 8 评论 -
python深度学习库pytorch::transforms练习:opencv,scikit-image,PIL图像处理库比较
进行深度学习时,对图像进行预处理的过程是非常重要的,使用pytorch或者TensorFlow时需要对图像进行预处理以及展示来观看处理效果,因此对python中的图像处理框架进行图像的读取和基本变换的掌握是必要的,接下来python中几个基本的图像处理库进行纵向对比。项目地址:https://github.com/Oldpan/Pytorch-Learn/tree/master/Image-Pro原创 2017-11-24 23:12:13 · 5239 阅读 · 0 评论 -
机器学习,深度学习必备数据集
cifar-10&&cifar-100http://www.cs.toronto.edu/~kriz/cifar.htmlCaltech-101(加利福尼亚理工学院101类图像数据库)http://www.vision.caltech.edu/Image_Datasets/Caltech101/Caltech-256(加利福尼亚理工学院256类图像数据库)https://authors.librar原创 2017-11-24 16:05:56 · 831 阅读 · 0 评论 -
利用pytorch实现迁移学习(Transfer Learning)
迁移学习 迁移学习是深度学习中一种常用的方法,核心思想为利用一个已经在其他训练集训练好的模型的材料(权重值或者特征层)来对目标训练集进行训练。利用另一个训练集训练好的模型,我们可以:提取其训练好的特征层(fixed feature extractor),去除其最后的分类层(全连接层)。注意,去除最后一层后保留的最后一层中是激活层,举个例子,在AlexNet中此层的维数为4096,这一层是非常原创 2017-11-26 11:13:49 · 11908 阅读 · 5 评论 -
深度学习机器学习:softmax和log_softmax区分
softmax 函数又称为 normalized exponential function:is a generalization of the logistic function that “squashes” a K-dimensional vector z\mathbf {z} of arbitrary real values to a K-dimensional vector σ(z)\原创 2017-12-05 09:59:29 · 5232 阅读 · 0 评论 -
深度学习为什么需要那么多的数据?
关于访问Oldpan博客,分享人工智能有趣消息,持续酝酿深度学习质量文。前言深度学习近两年来发展极为迅速,在计算能力大大提高的情况下,很多深度学习方向的思想都得以实现。但是,深度学习有一个令人头疼的缺点,那就是需要大量样本来进行训练才能达到较好的泛化。虽然我们有迁移学习可以适当减少我们需要的数据量,亦或者,我们可以通过数据增强的方式来翻倍我们的数据:imgua,强大的图像增强工具图...原创 2018-10-21 20:11:09 · 5797 阅读 · 0 评论 -
新显卡出世,谈谈与深度学习有关的显卡架构和相关技术
欢迎访问Oldpan博客,分享人工智能有趣消息,持续酝酿深度学习质量文。老婆,我想要煤气炉显卡的香气新显卡出世了,就在前几天。可以说是万众期待下,老黄发布了消费级(民用级)显卡RTX2070、RTX2080、RTX2080TI,作为“大多数人”,不得不说在发布会即将结束的那一刻,真的很想预订一块。真的很有诱惑力啊,毕竟价格摆在那里,RTX2080TI显卡相比1080T...原创 2018-10-21 20:19:06 · 2425 阅读 · 0 评论 -
浅谈深度学习落地问题
欢迎访问Oldpan博客,分享人工智能有趣消息,持续酝酿深度学习质量文。前言深度学习不不仅仅是理论创新,更重要的是应用于工程实际。关于深度学习人工智能落地,已经有有很多的解决方案,不论是电脑端、手机端还是嵌入式端,将已经训练好的神经网络权重在各个平台跑起来,应用起来才是最实在的。(caffe2-ios:https://github.com/KleinYuan/Caffe2-...原创 2018-10-21 20:27:03 · 2348 阅读 · 0 评论 -
理解深度学习:与神经网络相似的网络-自编码器(上)
欢迎访问Oldpan博客,分享人工智能有趣消息,持续酝酿深度学习质量文。自编码器是什么,自编码器是个神奇的东西,可以提取数据中的深层次的特征。例如我们输入图像,自编码器可以将这个图像上“人脸”的特征进行提取(编码过程),这个特征就保存为自编码器的潜变量,例如这张人脸的肤色以及头发颜色,自编码器在提取出这些特征之后还可以通过这些特征还原我们的原始数据。这个过程称作“解码”。前言本...原创 2018-10-21 20:31:59 · 5687 阅读 · 3 评论 -
浅谈深度学习中超参数调整策略
欢迎访问Oldpan博客,分享人工智能有趣消息,持续酝酿深度学习质量文。前言深度学习中,设计模型以及保证模型的正确性是首要需要考虑的。当模型设置完成时,理论上模型不存在问题,实现效果也通过计算可以复现出来。一切准备就绪后,那么接下来需要操作的就是——调参了。正文为什么很多人都称深度学习为炼丹?为什么丹药那么难炼?为什么为什么,因为炼丹的调料放多少不知道啊?得一个一个去...原创 2018-10-21 20:35:59 · 2125 阅读 · 0 评论 -
利用Pytorch的C++前端(libtorch)读取预训练权重并进行预测
关于本文章的最新更新请查看:oldpan博客看起来明天(2018-12-7)会发布Pytorch-1.0的稳定版。前言距离发布Pytorch-1.0-Preview版的发布已经有两个多月,Pytorch-1.0最瞩目的功能就是生产的大力支持,推出了C++版本的生态端(FB之前已经在Detectron进行了实验),包括C++前端和C++模型编译工具。对于我们来说,之后如果想要部署深度学习应用...原创 2018-12-17 21:43:29 · 14075 阅读 · 13 评论 -
想啥时候用的GPU服务器:Kaggle中kernels的快速入门指南
关于本文章的最新更新请查看:oldpan博客前言对于很多入门深度学习领域的小伙伴来说啊,拥有一款合适的显卡是必要的,只有拥有好的装备才能更好更快地进行神经网络的训练、调试网络结构、改善我们的代码,进而更快地产出结果。也就是说,显卡可以代表生产力,显卡越好,生产力越强。程序训练的速度越快,我们也就可以更方便地看到结果从而进行下一步。大家可以回顾一下我在之前发布的几篇关于显卡的文章:更...原创 2019-03-27 18:22:52 · 6023 阅读 · 0 评论 -
pytorch 0.3发布(0.3.0b0),更新信息以及更新步骤
pytorch 0.3发布了性能提升、新的网络层,支持ONNX,正式支持CUDA9、CuDNNv7,大量bug修复。 Performance improvements, new layers, ship models to other frameworks (via ONNX), CUDA9, CuDNNv7, lots of bug fixes 具体更新信息请移步官方的release:http原创 2017-12-08 16:36:33 · 4026 阅读 · 0 评论 -
利用pytorch实现Visualising Image Classification Models and Saliency Maps
素材来源自cs231n-assignment3-NetworkVisualizationsaliency mapsaliency map即特征图,可以告诉我们图像中的像素点对图像分类结果的影响。计算它的时候首先要计算与图像像素对应的正确分类中的标准化分数的梯度(这是一个标量)。如果图像的形状是(3, H, W),这个梯度的形状也是(3, H, W);对于图像中的每个像素点,这个梯度告诉我们当像素点原创 2017-11-29 17:40:35 · 5634 阅读 · 1 评论 -
对线性回归,logistic回归和一般回归的认识
1 摘要 本报告是在学习斯坦福大学机器学习课程前四节加上配套的讲义后的总结与认识。前四节主要讲述了回归问题,回归属于有监督学习中的一种方法。该方法的核心思想是从连续型统计数据中得到数学模型,然后将该数学模型用于预测或者分类。该方法处理的数据可以是多维的。 讲义最初介绍了一个基本问题,然后引出了线性回归的解决方法,然后针对误差问题做了概率解释。之后介绍了logist转载 2017-09-23 19:57:06 · 501 阅读 · 0 评论 -
机器学习实战(Machine Learning in Action)参考答案以及原始数据
数据以及参考code在官网下载即可https://www.manning.com/books/machine-learning-in-action如果下载不了可以从这里下载:名称 MLiA_SourceCode.zip https://space.oldpan.me/d/8018f162a3b2477e9b8b/ ...原创 2017-09-17 15:03:32 · 8957 阅读 · 5 评论 -
机器学习实战:基于概率论的分类方法:朴素贝叶斯(源码解析,错误分析)
按照惯例,先把代码粘到这里from numpy import *def LoadDataSet(): postingList = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park',原创 2017-09-19 17:38:14 · 1480 阅读 · 0 评论 -
机器学习实战:K近邻算法(源码分析)
学习机器学习的总结: 先把代码放到这儿,话说一句一句看着打真的好累,还好可以通过debug一步一步观察变量,理解顿时快了许多。。。过两天把注释补上。 另外我用的是python3.6.2,原版是2.7,也做了一些小小的修改。import numpy as npimport operatordef creatDataSet(): group = np.array([[1.0, 1.1],原创 2017-09-17 23:14:10 · 522 阅读 · 0 评论 -
机器学习:吴恩达官方笔记
所有内容来源自斯坦福大学机器学习课程,收藏整理起来为仅方便查看、复习使用第一周Linear Regression with One VariableModel and Cost FunctionModel RepresentationCost FunctionCost Function - Intuition I Cost Function - Intuition II Parameter原创 2017-10-07 17:22:59 · 1528 阅读 · 0 评论 -
线性回归之——最小二乘法
原文地址:http://sbp810050504.blog.51cto.com/2799422/1269572一、引言这段时间学习《机器学习》,学到第5章的“Logistic回归”,感觉相当吃力。追本溯源,从“Logistic回归”到“线性回归”,再到“最小二乘法”。最终定格到了《高等数学》(第六版·下册)第九章第10节“最小二乘法”,这才了解到最小二乘法背后的数学原理转载 2017-10-08 16:31:53 · 839 阅读 · 0 评论 -
python数据分析包pandas的使用方法
pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。—百度百科>>>import pandas as pd>>>test = pd.Series(['pig', 'girl', 35, -123123123])原创 2017-10-12 17:49:43 · 937 阅读 · 0 评论 -
pytorch-0.2成功调用GPU:ubuntu16.04,Nvidia驱动安装以及最新cuda9.0与cudnnV7.0配置
前言从安装ubuntu系统配置pytorch-GPU环境开始就已经走上了不归路,本以为没什么大问题,但其实坑非常的多,在此写上安装过程中遇到的种种问题与大家分享,希望大家少走弯路!另外要说明,安装过程中一定要仔细看cuda、cudnn的官方文档,官方文档写的过程非常的详细,仔细看之后再安装会避免不少的问题!电脑配置电脑为个人闲置的笔记本电脑: 处理器:i7-6700 显卡:GTX 965M(集显原创 2017-11-06 16:40:58 · 7347 阅读 · 1 评论 -
(CS231-2017)卷积神经网络视觉识别:线性分类(1)
本文为CS231n-2017 Convolutional Neural Networks for Visual Recognition中Note:Linear Classification的中文翻译,仅供学习与参考,如有翻译问题,欢迎指正。 原文链接:http://cs231n.github.io/linear-classify/#intro线性分类在上一节中我们介绍了图像分类的问题,这个问翻译 2017-09-25 20:36:46 · 1971 阅读 · 0 评论 -
C231n-SVM-assignment1-完全代码及注释
题目介绍:Multiclass Support Vector Machine exerciseComplete and hand in this completed worksheet (including its outputs and any supporting code outside of the worksheet) with your assignment submission. Fo原创 2017-10-31 17:49:14 · 1262 阅读 · 0 评论 -
机器学习数学基础之概率论
一些简写符号:CDF(cumulative distribution function 累计分布函数)、pdf(Probability Denisty Function 概率密度函数)概率的表示P(x)ϵ[0,1]P(x)\epsilon [0,1]如果x为离散/连续变量,则P(x=x0)P(x=x_{0})表示x0x_{0}发生的概率/密度累计分布函数Φ(x)=P(x⩽x0)\Phi (x)=P原创 2017-10-15 20:50:19 · 647 阅读 · 0 评论 -
Python机器学习、深度学习:快速、完全的Numpy入门指南
NumPy是python的第三方科学计算包,全名称为Numerical Python extensions。NumPy包含以下几个功能组件:强大的N维数组对象(可以操控多为数组),优美巧妙的功能(广播)函数,对于线性代数,傅里叶变换,随机数的生成有着很好的支持。现在广泛用于机器学习与深度学习之中。基础类型NumPy中最基本的对象就是均匀多维数组,包含一系列相同类型的变量(一般数字),类似于数组,可原创 2017-10-31 17:31:37 · 2301 阅读 · 0 评论 -
关于CS231N-Assignment1-KNN中no-loop矩阵乘法代码的讲解
在使用无循环的算法进行计算距离的效率是很高的 可以看到No loop算法使用的时间远远小于之前两种算法Two loop version took 56.785069 secondsOne loop version took 136.449761 secondsNo loop version took 0.591535 seconds #很快!实现代码主要为以下这一段: 其中X为500×3原创 2017-10-26 21:51:54 · 2571 阅读 · 0 评论 -
C231n-KNN-assignment1-完全代码及注释
以下内容为C231n-assignment1-KNN的代码 作业网址:http://cs231n.github.io/assignments2017/assignment1/ Q1: k-Nearest Neighbor classifier (20 points) The IPython Notebook knn.ipynb will walk you through implemen原创 2017-10-26 22:10:20 · 1774 阅读 · 0 评论 -
深度学习必备:通过VNC连接ubuntu(linux)工作站
说到深度学习,配置搭建环境是最重要的,一些深度学习库的搭建和尝试是必须的。比如pytorch、TensorFlow等优秀的深度框架在linux下可以很好的运行,这里通过使用两台电脑(一台win10、一台ubuntu)来进行深度学习环境的搭建。此篇讲解如果通过VNC实现win10电脑操控(ubuntu)linux电脑,只需一个键盘一个鼠标就可以操控两个电脑,实现高效率工作。必需品: 两台电脑、一根原创 2017-11-04 19:55:19 · 8763 阅读 · 0 评论 -
利用pytorch实现Fooling Images(添加特定噪声到原始图像,使神经网络误识别)
It suggests that it is the space, rather than the individual units, that contains the semantic information in the high layers of neural networks. 在深层的神经网络中,真正影响特征信息的,不是个体单元,而是空间信息。 we find that原创 2017-11-30 11:22:15 · 7183 阅读 · 0 评论 -
机器学习实战第五章(Chapter5):Logistic回归-程序原理详解
这一个章节中作者主要运用了Logistic回归分类器进行分类,分类器的函数形式是Sigmoid函数,过程可以概括为:每个输入特征乘以一个回归系数,然后将所有的结果值相加,将总和带入Sigmoid函数中进行分类,整个过程也可以被看成概率估计。首先先来看书中的一段程序(程序5-1 Logistic回归梯度上升优化算法)#此函数的作用是读取数据集文件,将数据分别存于两个列表中,在函数最后返回def L原创 2017-09-22 23:29:54 · 1181 阅读 · 0 评论