![](https://img-blog.csdnimg.cn/20190918140129601.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
AI
机器学习与深度学习
Guan Tongpeng
仰望大佬,脚踏实地
展开
-
异构计算/高性能计算算子库与软件栈
清华大学翟季冬 http://pacman.cs.tsinghua.edu.cn/~zjd/原创 2024-01-25 14:40:18 · 409 阅读 · 0 评论 -
算子开发参考
神经网络框架自定义算子。NVIDIA 计算库。原创 2024-01-20 20:45:21 · 518 阅读 · 0 评论 -
深度学习调参
机器之心AI蜗牛车知乎知乎知乎原创 2021-09-29 16:16:21 · 63 阅读 · 0 评论 -
深度学习环境配置:GPU,CUDA,cuDNN
参考:https://zhuanlan.zhihu.com/p/91334380查看GPU驱动版本:cat /proc/driver/nvidia/version查看GPU应该安装的对应CUDA版本:https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html查看CUDA应该安装的对应cuDNN版本:https://developer.nvidia.com/rdp/cudnn-archive#a-collapse742-10.原创 2021-06-04 15:59:44 · 78 阅读 · 0 评论 -
天池寒假训练营-Task4 baseline
# 导包import numpy as npimport pandas as pdimport matplotlib.pyplot as plt# 读入数据data_train = pd.read_csv(r'data/happiness_train_complete.csv',encoding='gbk')data_test = pd.read_csv(r'data/happiness_test_complete.csv',encoding='gbk')#%% 查看一下标签data_t原创 2021-01-28 20:53:14 · 57 阅读 · 0 评论 -
指定GPU训练模型
指定GPU训练模型1、直接在终端运行时加入相关语句实现指定GPU的使用运行test.py文件时,使用编号为0的GPU卡CUDA_VISIBLE_DEVICES=0 python test.py运行test.py文件时,使用编号为0和2的GPU卡CUDA_VISIBLE_DEVICES=0,2 python test.py2、在Python程序中添加使用第一张与第二张GPU卡import osos.environ["CUDA_VISIBLE_DEVICES"] = "1, 2"..原创 2020-12-30 09:57:58 · 879 阅读 · 1 评论 -
NILM非侵入式负荷监测环境搭建
配置NILMTK深度学习环境下载miniconda安装minicondabash原创 2020-12-22 15:33:06 · 505 阅读 · 1 评论 -
安装tensorflow,pytorch并测试GPU是否可用
测试GPU是否可用tensorflowimport tensorflow as tfprint(tf.test.is_gpu_available())pytorchimport torchprint(torch.cuda.is_available())输出True代表可用原创 2020-12-21 20:29:26 · 397 阅读 · 1 评论 -
mxnet模型序列化
mxnet模型序列化,因为mxnet是动态图,需要前向运行一遍#mxnet 模型序列化'''keep the model to json 保存模型和参数'''net2.hybridize()output = net2(image.as_in_context(mx.gpu(0)))[1] #image是一张ndarray图net2.export('net2')'''load the model and the params 还原模型'''net3 = gluon.SymbolBlock.impo原创 2020-11-26 17:56:42 · 100 阅读 · 0 评论 -
三分类SHAP图(特征标准化之后怎么画)
画三分类SHAP图出错今天干了一件很蠢的事情,还耽误了很多时间,特此记录一下我将数据标准化之后训练模型,然后将未标准化的数据作为输入计算了SHAP值,得出的结果显然不对。类似于下图这种但是如果画图时将X_test输入作为参数,那么横坐标就对应的是标准化之后的值,所以我们可以先对X_test未经标准化时候制作一个copy版本X_test1,然后作为画图时候参数输入就可以正确画出SHAP图的横坐标了,也可以得到我们想要的信息。另外三分类shap values得到一个3维数据,有时候使用起来需要切片,比如原创 2020-11-23 20:12:05 · 5655 阅读 · 7 评论 -
机器学习模型性能提升方案
机器学习最有价值的部分是预测建模。 这是在历史数据上训练模型并对新数据进行预测的模型的开发。 关于预测建模的首要问题是:如何获得更好的结果?这份备忘单包含了多年以来我的最佳应用程序,以及我对顶尖的机器学习从业人员和比赛获胜者的学习所总结出的最佳建议。 有了本指南,您不仅会得到解脱和提升的性能,甚至可以在预测问题上获得世界一流的结果。概述 此备忘单旨在为您提供一些想法,以提高您的机器学习问题的性能。 取得突破是一个好主意。 当您遇到问题时,一个好主意值得一吨黄金,本指南包含32种可以尝试的想法原创 2020-10-16 20:01:57 · 490 阅读 · 0 评论 -
gpu版本pytorch安装
1、英伟达驱动安装或更新:https://www.nvidia.cn/geforce/drivers/2、进入torch官网,选择对应驱动版本,使用conda安装方法,会自动安装cuda和cudnn3、检查pytorch 和tensorflow安装gpu是否可用import torchprint(torch.cuda.is_available())import tensorflow as tfprint(tf.test.is_gpu_available())返回true代表可用gpu..原创 2020-07-20 12:12:09 · 169 阅读 · 0 评论 -
数据泄露
参考:https://www.kaggle.com/alexisbcook/data-leakageData leakage当您的训练数据包含有关目标的信息时,就会发生数据泄漏(或泄漏),但是当模型用于预测时,类似的数据将不可用。这将导致训练集(甚至可能包括验证数据)的高性能,但是模型在生产中的表现会很差。泄漏有两种主要类型:target leakage和train-test contamination。Target leakage当预测变量包含在进行预测时将不可用的数据时,就会发生目标泄漏。重要的原创 2020-07-06 18:33:11 · 491 阅读 · 0 评论 -
sklearn入门基础
参考官方文档:https://scikit-learn.org/stable/getting_started.htmlFitting and predicting: estimator basics(拟合和预测:估计器基础)Scikit-learn内置了数十种机器学习算法和模型,这些算法和模型叫做估计器。每一个估计器都可以使用其拟合方法来拟合某些数据。下面是我们使用随机森林模型拟合一些数据的例子:from sklearn.ensemble import RandomForestClassifierc原创 2020-07-06 11:07:56 · 249 阅读 · 0 评论