机器学习
梅津太郎
这个作者很懒,什么都没留下…
展开
-
【杂烩】Tesla M40 训练机组装与散热改造
原文链接:链接我现有的笔记本内部有一张 GTX1060,6G 的显存在进行神经网络训练时不免有些捉襟见肘。此外,笔记本在进行训练时散热也是个大问题,遂萌生了搭建专用训练服务器的想法。作为一个贫穷学生仔,我的基本需求也很简单:便宜、大显存。冲浪一圈后,发现上古 Tesla M40 计算卡很符合我的需求,24G 显存版本在闲鱼基本 1200 元即可拿下。尽管其算力大致只与 GTX 980Ti 持平,但跑的慢远比不能跑强。如果预算还可以往上提个 1300 左右,大可直接拿下 Tesla P40 24G版本,算力可转载 2022-06-26 19:43:27 · 4545 阅读 · 4 评论 -
【杂烩】Tesla M40 24G 在Win11上的双显卡显示实现、改风冷
转载地址:链接 本文旨在总结最近的折腾经历。目的有二,一是梳理思路,做一个记录,二是为准备折腾的小伙伴提供一个参考。Tesla M40 24G实际上是计算卡,不是显卡,但是在后文中为了表述方便,仍以“显卡”代称。话不多说进入正题。 本人的硬件配置(先来个大师图,大师版本5.21.1300.108)图1.1 整机配置图 由于使用的是AMD R5 2600X + MSI B450 motor 组合没有核显输出,同时M40没有视频输出接口,所以需要使用另外一张显卡进行视频转载 2022-06-26 18:52:52 · 33227 阅读 · 9 评论 -
【信息汇总】国际会议列表
知乎资料A类会议会议简称会议全称截稿时间会议时间官方网址接受率会议1会议2––会议简称会议全称截稿时间会议时间官方网址接受率ICCV2021International Conference on Computer Vision––http://iccv2021.thecvf.com/home–AAAI2022AAAI Conference on Artificial Intelligence202原创 2022-01-07 16:45:24 · 1580 阅读 · 0 评论 -
【深度学习】torch.nn.parallel.DistributedDataParalle示例
import datetimeimport osimport torchfrom torch import nnfrom torch import optimfrom torch.autograd import Variablefrom torch.utils.data import DataLoaderfrom torchvision import transformsimport joint_transformsfrom config import msra10k_pathfro原创 2021-10-13 09:24:24 · 557 阅读 · 0 评论 -
【深度学习】小技巧小知识备忘录
model.modules()是对模型的所有不同层面的子层,子层的子层进行输出,组成一个的一个list。比如:listm[2]Out[20]: ConvBNActivation( (0): Conv2d(3, 32, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), bias=False) (1): BatchNorm2d(32, eps=1e-05, momentum=0.1, affine=True, track_running_.原创 2021-09-29 17:17:35 · 1712 阅读 · 0 评论 -
【深度学习】pytorch多GPU训练
原理多卡训练的基本过程首先把模型加载到一个主设备把模型只读复制到多个设备把大的batch数据也等分到不同的设备最后将所有设备计算得到的梯度合并更新主设备上的模型参数#!/usr/bin/python3# coding: utf-8import torchfrom torchvision import datasets, transformsimport torchvisionfrom tqdm import tqdmdevice_ids = [3, 4, 6, 7]BATCH原创 2021-09-05 21:50:46 · 209 阅读 · 0 评论 -
机器学习笔记(6):准确率、精确率、召回率、F1值、ROC/AUC
原创 2021-05-03 09:29:34 · 396 阅读 · 0 评论 -
深度学习笔记(1):损失函数和激活函数的选择关系
代码:from abc import ABC, abstractmethodimport numpy as npimport timeimport refrom collections import OrderedDictclass ActivationBase(ABC): def __init__(self, **kwargs): super().__init__() def __call__(self, z): if z.ndim == 1: z = z....原创 2021-04-21 16:48:24 · 814 阅读 · 4 评论 -
【深度学习】无向图构建问题
在构建图的时候,通常是根据节点关系构建有有向图,但是gcn中使用的无向图。比如上图,构建有向图的邻接矩阵A为:array([[0, 1, 1], [0, 0, 0], [1, 1, 0]])''A.T > A :array([[False, False, False], [ True, False, True], [False, False, False]])A* (A.T>A) :array([[0, 0, 0],原创 2021-04-20 16:26:56 · 1157 阅读 · 0 评论 -
【深度学习】梯度下降方向解读
参考:博客 本文主要来自李宏毅老师的PPT 假设给定损失函数和梯度下降的初始点,那么就可以在这个点附近找出最小值点,那么就可以以这个最小值点出发,同样画一个范围,找出该范围内的最小值点,循环迭代直至找到最优解。那么问题是,如何最快的找到最优解?换种说法就是从哪个方向找loss下降的最快? 这里引入泰勒展开式进行说明,泰勒展开式的几何意义是可以利用一个函数在某点的信息描述该点附近点的取值信息。原创 2021-04-20 10:41:30 · 914 阅读 · 0 评论 -
【数学相关】幂迭代(power iterations)算法
import numpy as npdim = 5np.random.seed(0)data = np.random.rand(dim, dim)eigenvalue, featurevector = np.linalg.eig(data)v = np.random.rand(dim, 1) # 随机取一个列向量。for i in range(15): v = np.matmul(data, v) v = v / np.sqrt(np.sum(v * v))print((np.e.原创 2021-04-19 10:22:14 · 844 阅读 · 0 评论 -
【深度学习】tf.slice解读
def slice(input_, begin, size, name=None):# pylint: disable=redefined-builtin """Extracts a slice from a tensor. This operation extracts a slice of size `size` from a tensor `input` starting at the location specified by `begin`. The slice `size` is原创 2021-04-18 14:12:34 · 1790 阅读 · 0 评论 -
【深度学习】python矩阵乘积运算(multiply/maumul/*/@)
在训练数据时经常涉及到矩阵运算,有段时间没有练习过了,手便生疏了,今天重新测了一把,python中各类矩阵运算举例如下,可以清楚的看到tf.matmul(A,C)=np.dot(A,C)= A@C都属于叉乘,而tf.multiply(A,C)= A*C=A∙C属于点乘。 Python测试编码如下: import tensorflow as tfimport numpy as npa = np.array([[1,2],[3,4]])b = np.arr...原创 2021-04-18 12:34:19 · 1087 阅读 · 1 评论 -
机器学习笔记 (5): 牛顿法和拟牛顿法
简单的例子:% 梯度矩阵function g = BFGS_Gradient(x0)g = [2*x0(1)-2, 2*x0(2)-4, 2*x0(3)-6, 2*x0(4)-2, 2*x0(5)-2, 2*x0(6)-2];end % 一维搜索function result = Advance_Retreat_Gold(x0,d, t0, step, eps)% 进退法和黄金分割法确定步长%=====================================...原创 2021-04-09 14:35:06 · 164 阅读 · 1 评论 -
机器学习笔记(4):决策树
原创 2021-03-26 14:31:02 · 70 阅读 · 0 评论 -
机器学习笔记(3):提升方法AdaBoost法
最终准确率达到100%,十个样本预测正确。实验为p158 ,8.1.3的例子。原创 2021-03-24 10:52:44 · 101 阅读 · 0 评论 -
机器学习笔记(2):SVM的SMO法
matlab 实验直接遍历方法:启发式选在1-C之间点的方法:代码链接:链接原创 2021-03-21 11:06:28 · 80 阅读 · 0 评论 -
深度学习笔记1:极大似然估计与最大后验概率估计详解
极大似然估计与最大后验概率估计添加链接描述原创 2021-03-07 22:10:34 · 332 阅读 · 0 评论 -
pytorch预训练模型的下载地址
https://github.com/pytorch/vision/tree/master/torchvision/models%Resnet: model_urls = { 'resnet18': 'https://download.pytorch.org/models/resnet18-5c106cde.pth', '...原创 2020-07-05 19:59:27 · 1135 阅读 · 0 评论 -
梯度消失和爆炸原因以及解决方法
1、梯度消失与梯度爆炸问题简述 层数比较多的神经网络模型在使用梯度下降法对误差进行反向传播时会出现梯度消失和梯度爆炸问题。梯度消失问题和梯度爆炸问题一般会随着网络层数的增加变得越来越明显。 例如,对于图所示的含有3个隐藏层的神经网络,梯度消...原创 2020-07-05 19:07:55 · 3890 阅读 · 0 评论 -
Pytorch离线下载预训练模型
就拿Resnet18举例在程序中输入from __future__ import print_function, divisionfrom torchvis...原创 2020-06-23 00:01:28 · 1028 阅读 · 0 评论 -
conv2d参数含义、卷积层、池化层
本文转载自罗翌新:中科大数学博士,深度学习医学应用专家;廖星宇:中科大硕士,计算机视觉专家,Face++资深工程师,《深度学习之Pytorch》作者;的深度学习理论与实战(基于TensorFlow实现)一、tf.nn.conv2d()卷积函数各参数解析 二、卷积例子 三、池化函数tf....转载 2020-06-19 20:21:42 · 1516 阅读 · 0 评论 -
LSTM Networks
长短期记忆网络(通常称为“ LSTM”)是一种特殊的RNN,能够学习长期依赖关系。 它们是由Hochreiter&Schmidhuber(1997)引入的,并在随后的工作中被许多人提炼和推广。1它们在处理各种各样的问题上表现出色,现已被广泛使用。LSTM被明确设计为避免长期依赖问题。 长时间记住信息实际上是他们的默认行为,而不是他们努力学习的东西!所有的递归神经网络都具有神经网络的重复模块链的形式。 在标准RNN中,此重复模块将具有非常简单的结构,例如单个tanh层。LSTM也具有这种链状结构,但是原创 2020-06-13 18:10:49 · 607 阅读 · 0 评论 -
Octave
在学习机器学习的过程中,免不了要跟MATLAB、Octave打交道,这两个工具都可以帮助我们很好的解决数值计算问题,两者的语法也非常接近。Octave是一个完全开源免费的软件,无论是Windows还是Mac环境都可以在官网下载安装包直接安装,非...原创 2020-05-21 19:17:31 · 360 阅读 · 0 评论