![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
cjneo
这个作者很懒,什么都没留下…
展开
-
pytorch 的GPU性能优化
最近在训练一个图片分类器,GPU使用率一直没到100% ,甚至只是一些波峰尖刺。后来排查了一些问题。这种情况 大概率就是 CPU的数据在往GPU搬运的时候出现了瓶颈,优化方法1 预取数据 多线程2 大规模映射顺序读3 把数据搬运到ssd最后用了3解决问题,当你的盘太慢的时候,最好的方法就是换到ssd上...原创 2021-12-21 11:57:03 · 358 阅读 · 0 评论 -
pandas 使用学习
#读文件data = pd.read_csv('data.csv')df = pd.read_csv(filename,encoding='utf-8')#写文件df2.to_csv("shundeformat.csv",index=False,columns=['idcard_hash','imei_hash','phone_hash','qq_hash','detail_hash...原创 2020-02-13 17:14:56 · 86 阅读 · 0 评论 -
Word2vec 学习
https://blog.csdn.net/mr_tyting/article/details/80091842这个是非常经典的word2vect 的论文翻译另外一个作者的 写的非常详细https://www.jianshu.com/p/a1163174ebafhttps://www.jianshu.com/p/ed15e2adbfad这个是重要的举措ne...转载 2020-02-02 00:47:07 · 160 阅读 · 0 评论 -
特征使用
一些特征选择的技巧https://www.jianshu.com/p/8edf4d159d4cxgb不适合高维特征的特点https://www.zhihu.com/question/267934807为什么实际的数据处理中使用 树的集成学习模型(更符合实际数据情况)https://blog.csdn.net/leadai/article/details/78579708...原创 2019-08-19 00:55:50 · 245 阅读 · 0 评论 -
Meta Path 定义
原文地址:https://blog.csdn.net/hy_jz/article/details/78862226Meta Path 是2011年 Yizhou Sun etc. 提出的 http://www.morganclaypool.com/doi/abs/10.2200/S00433ED1V01Y201207DMK005, 针对异质网络中的相似性搜索。Meta Path 是一条...转载 2018-10-24 11:13:12 · 9911 阅读 · 0 评论 -
kmeans初试
kmeans 初步使用,识别一个安全的项目中许多账号中的恶意账号。特征是账号的一些行为,使用时长、浏览次数、在线时长等等。在一个非常小的数据集上做,结果是非常不理想,原意是想让它把浏览过某个网页的账号筛选出来,结果就是没有成功地聚类了。也很简单,因为kmeans的距离计算把每个向量的贡献都看成一样,使用欧式距离作为分类标准,那么对于归纳后的向量和一些初始化向量并不适用了。1.关于分...原创 2018-08-02 13:22:47 · 224 阅读 · 0 评论 -
word2vec 初尝试
先贴结果:与竞争相似的词市场竞争 0.906346678734日趋激烈 0.874940693378激烈 0.850416898727争夺 0.807645440102十分激烈 0.80338871479价格战 0.788535356522白热化 0.782474756241同质化 0.769148826599价格竞争 0.750348031521日益加剧 0.74926...原创 2018-08-05 20:36:31 · 161 阅读 · 0 评论 -
tf conv2d 函数 和CNN实现
tf.nn.conv2d函数 ,在tf技术解释与实践中解释的很清楚。尤其是参数。现在还是来总结一下。tf.nn.conv2d是TensorFlow里面实现卷积的函数,参考文档对它的介绍并不是很详细,实际上这是搭建卷积神经网络比较核心的一个方法,非常重要tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, n...原创 2018-07-22 23:52:03 · 6796 阅读 · 0 评论 -
循环神经网络你需要知道的几个基本概念
原地址 https://www.imooc.com/article/23821 1.1 为什么有了全连接神经网络和CNN还需要RNN?我们通过前两篇博文知道了全连接神经网络和卷积神经网络的基本工作原理,这两种网络结构的层与层之间是全连接或部分连接的,但在每层之间的节点是无连接的,这样的网络结构并不能很好的处理序列数据。当我们要建立一个模型来预测句子的下一个单词是什么时,结合n-gram...转载 2018-07-29 17:02:07 · 4491 阅读 · 0 评论 -
tensorflow 学习中的函数
第一部分来自官方minist数据集的例子 简单的函数操作能抽象化我们的代码和思维 一 tf.nn.softmax_cross_entropy_with_logits的用法在计算loss的时候,最常见的一句话就是tf.nn.softmax_cross_entropy_with_logits,那么它到底是怎么做的呢?首先明确一点,loss是代价值,也就是我们要最小化的值 tf....原创 2018-07-29 16:01:03 · 214 阅读 · 1 评论 -
第一个梯度下降算法 am
import numpy as npX = 2*np.random.random((6,3))-1print XW0 = np.array([[12],[2],[4]])print W0Y=np.dot(X,W0)w = 2*np.random.random((3,1))-1print wfor j in xrange(1,6000): l= np.dot(X,w) ...原创 2018-07-11 23:57:19 · 251 阅读 · 0 评论 -
再学机器学习gridsearch网格搜索
GridSearchCV,它存在的意义就是自动调参,只要把参数输进去,就能给出最优化的结果和参数。但是这个方法适合于小数据集,一旦数据的量级上去了,很难得出结果。这个时候就是需要动脑筋了。数据量比较大的时候可以使用一个快速调优的方法——坐标下降。它其实是一种贪心算法:拿当前对模型影响最大的参数调优,直到最优化;再拿下一个影响最大的参数调优,如此下去,直到所有的参数调整完毕。这个方法的缺点就是可能会...原创 2018-05-01 22:47:00 · 1415 阅读 · 0 评论 -
安装 python3.5
用安装包下载安装然后出错了x80070005 结果需要删除杀毒软件原创 2017-07-01 12:24:06 · 609 阅读 · 0 评论 -
朴素贝叶斯 VS 逻辑回归 区别
总结起来,有以下几点不同:(1) Naive Bayes是一个生成模型,在计算P(y|x)之前,先要从训练数据中计算P(x|y)和P(y)的概率,从而利用贝叶斯公式计算P(y|x)。 Logistic Regression是一个判别模型,它通过在训练数据集上最大化判别函数P(y|x)学习得到,不需要知道P(x|y)和P(y)。(2) Naive Bayes是建立在条件...转载 2015-04-21 10:32:37 · 15860 阅读 · 1 评论