machine learning
文章平均质量分 62
kwang8090
goodman
展开
-
分布式数据并行DistributedDataParallel
DistributedDataParallel,torch.distributed相对于torch.nn.DataParalle 是一个底层的API,所以我们要修改我们的代码,使其能够独立的在机器(节点)中运行。与 DataParallel 的单进程控制多 GPU 不同,在 distributed 的帮助下,我们只需要编写一份代码,torch 就会自动将其分配给n个进程,分别在 n 个 GPU 上运行。不再有主GPU,每个GPU执行相同的任务。对每个GPU的训练都是在自己的过程中进行的。每个进程都从磁盘原创 2022-01-01 00:59:04 · 722 阅读 · 0 评论 -
pandas数据读取(dat, csv)
读取dat数据import pandas as pddata = pd.read_csv(‘文件名.dat’,header=None,encoding=‘utf-8’,delimiter="\t",quoting=csv.QUOTE_NONE)原创 2021-04-17 11:58:15 · 1215 阅读 · 0 评论 -
Windows下的Neo4j安装
配置JDK环境官网下载jdk, 并进行安装,https://www.oracle.com/java/technologies/javase-jdk15-downloads.html安装neo4jhttps://neo4j.com/product/, 下载desktop并进行安装原创 2021-02-01 18:06:24 · 73 阅读 · 0 评论 -
精确率、召回率、F1、AUC和ROC曲线
如果我们已经定好了一个阈值,超过此阈值定义为坏用户(1),低于此阈值定义为好用户(0),就可以计算出混淆矩阵(Confusion matrix)。根据混淆矩阵我们可以得到TP,FN,FP,TN四个值,TP即为预测正确的坏用户的个数,FN为预测错误(预测为好用户)的坏用户个数,根据这四个值即可计算精确率、召回率和F1。精确率(Precision)为TP/(TP+FP),即为在预测为坏人的人中,预测正确(实际为坏人)的人占比。召回率(Recall)为TP/(TP+FN),即为在实际为...原创 2021-01-01 19:32:44 · 734 阅读 · 0 评论 -
数据预处理 与 词向量
数据预处理 与 词向量特征降维与 特征度量在高维情形下出现的数据样本稀疏、距离计算困难等问题,是所有机器学习方法共同面临的严重障碍,被称为 “维数灾难”。1 线性判别分析 LDA给定训练样例集,设法将样例投影到一条直线上,使得:同类样例的投影点尽可能的接近,异类样本点尽可能的远离,通过让同类样例的投影点的协方差尽可能小,使类中心之间的距离尽可能大,则可满足以上求解需求。低维嵌入通过某种数学变换将原始高维属性空间转变为一个低维“子空间”,在这个...原创 2021-01-01 14:01:31 · 523 阅读 · 0 评论 -
感知机
《感知机》背景介绍神经网络, 深度学习研究的基础。是一种模拟人脑的神经网络以期能够实现类人工智能的机器学习技术。人脑中的神经网络是一个非常复杂的组织,成人的大脑中估计有1000亿个神经元。 人工神经网络定义: “神经网络是由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应”神经元模型生物神经元:1904年生物学家就已经知晓了神经元的组成结构,树突用于...原创 2021-01-01 12:48:55 · 342 阅读 · 1 评论 -
windows下安装cuda,cudnn
1 下载相应cudnn的安装包https://developer.nvidia.com/rdp/cudnn-download2 参考官网按照如下流程处理dll文件原创 2020-12-21 17:37:23 · 174 阅读 · 0 评论 -
windows 验证cuda是否安装
打开cmd,输入如下命令nvcc -V结果如下:原创 2020-12-17 17:18:48 · 890 阅读 · 3 评论 -
challenges
Crowd AI:https://www.crowdai.org/challenges Tainchi:https://tianchi.aliyun.com/competition/gameList/activeList原创 2020-12-08 15:30:49 · 129 阅读 · 0 评论