![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 53
jollyjumper
一点记录
展开
-
BytePSScheduledQueue
这个类主要是对TensorTableEntry的任务进行管理,应该都用于设备之间数据通信:以下为TensorTableEntry定义:原创 2021-02-03 22:55:14 · 183 阅读 · 0 评论 -
shared_memory
共享内存管理接口,用一个map保存所有的共享内存,为了加速和GPU通信,使用了cudaHostRegister/cudaHostUnregister接口:比较特殊的是openPcieSharedMemory,会返回一个地址列表,会在多个PCIE Switch各分配一个共享内存(PCIE-Switch是为了解决CPU PCIE接口数量不足的问题(每个CPU 40个PCIE接口)...原创 2021-02-03 22:09:58 · 412 阅读 · 0 评论 -
(转)SignSGD 及其 MXNet 实现解读
原文:https://zhuanlan.zhihu.com/p/112346480论文笔记:SIGNSGD: compressed optimisation for non-convex problems这是一篇来自 Caltech,Amazon AI 和 UC Irvine 的文章。名字非常的直白,方法也异常的简单(简单并不简单)。总结起来就是:SGD里面,梯度真正有用的是方向而不是大小。所以,即使你只保留梯度的符号来对模型进行更新,也能得到收敛的效果。甚至有些情况下,这么做能减少梯度原创 2021-02-02 19:58:19 · 618 阅读 · 0 评论 -
(转)【深度学习】深入理解Batch Normalization批标准化
原文链接:https://www.cnblogs.com/guoyaohua/p/8724433.html这几天面试经常被问到BN层的原理,虽然回答上来了,但还是感觉答得不是很好,今天仔细研究了一下Batch Normalization的原理,以下为参考网上几篇文章总结得出。 Batch Normalization作为最近一年来DL的重要成果,已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其理论原因,但是实践证明好用才是真的好,别忘了DL从Hinton对深层网络做Pre-Train转载 2021-01-24 18:52:57 · 88 阅读 · 0 评论 -
libsvm中的后验概率
这里有一篇论文提到应用后验概率的,基于后验概率的个人信用评估SVM模型:http://www.docin.com/p-573276093.html这里后验概率的计算,是假定概率符合sigmoid分布,通过最大似然求解,求解出A,B,算出后验概率。这里的网格搜索范围,稳健性处理(3倍标准差法),分层抽样等处理值得借鉴。转载 2015-05-17 09:43:02 · 2385 阅读 · 0 评论 -
Beta分布
Beta分布Wiki:http://zh.wikipedia.org/wiki/%CE%92%E5%88%86%E5%B8%83如何理解beta分布和dirichlet分布:http://maider.blog.sohu.com/306392863.htmlBeta分布和Dirichlet分布:http://blog.csdn.net/sweetrryy/article/details/6转载 2015-05-16 17:38:13 · 2311 阅读 · 0 评论 -
EM算法
从最大似然到EM算法浅解:http://blog.csdn.net/zouxy09/article/details/8537620期望最大算法是一种从不完全数据或有数据丢失的数据集中求解概率模型参数的最大似然估计方法转载 2015-05-16 17:37:17 · 470 阅读 · 0 评论 -
线性规划
http://zh.wikipedia.org/wiki/%E7%BA%BF%E6%80%A7%E8%A7%84%E5%88%92今天看支持向量机导论第一章时看到线性规划的对偶问题,其实还是一个线性规划,在想这样难道求解会更快?看起来不需要对偶就可以求解,一般适用单纯形法(以前算法导论看过又忘了),只有在顶点非常多时才使用内点法。整数规划为NP难问题。转载 2015-05-16 17:34:19 · 1024 阅读 · 0 评论 -
LDA方法
P{词语|文档}=delta(P(词语|主题)*p(主题|文档))II(训练所有doc)IIp(z|theta)|p(w|z),theta服从dirichlet分布,最大似然,应用最大期望算法(EM),求出dirichlet分布得参数向量,随后对测试文档进行估算.参考:http://blog.csdn.net/huagong_adu/article/details/7937616转载 2015-05-16 17:36:23 · 1116 阅读 · 0 评论 -
我的第一个svm程序:手写字识别
之前学过svm相关知识,基本原理不算复杂,今天做了一个手写字识别程序,总算验证了svm的效果。因为只是验证效果,实现上原则是简单,使用python + libsvm + PIL(python image library)。这部分工作花了一些时间:PIL:http://www.pythonware.com/products/pil/下载源码包,解压之后运行:python setup.原创 2015-05-03 10:42:05 · 8329 阅读 · 1 评论 -
条件随机场(CRF)的一篇不错ppt
http://wenku.baidu.com/link?url=7LBbXiKPWAPnqYexmBOhz4iCUSny6Ayg3M53Ls0IiVKdqLq-9YPNAiW3WKJ5UgihjWKmm4yTpahIIeu75BB_mM_Q1QicaLIGrOiwHUO8ktu一直好奇条件随机场,dan转载 2014-06-22 13:08:45 · 42428 阅读 · 0 评论 -
Boilerplate Detection Using Shallow Text Features论文小笔记
网页正文抽取是个很重要的东西,可以减少索引大小,让搜索结果更准确,数据挖掘也更准确.昨天晚上在网上看到这个东西:http://code.google.com/p/boilerpipe/很高兴,用于抽取网页上的正文,它还有一个gae的页面:http://boilerpipe-web.appspot.com,测了一下准确率,召回率都还没蛮高的.最关键的一点是:几年前在一家小公司我也做过原创 2014-01-24 23:39:15 · 1834 阅读 · 0 评论 -
决策树(Decision Tree)模型笔记
以前看集体智慧编程时觉得决策树模型没什么大不了的,看得不仔细.昨天知道网页正文抽取(full-text extraction)中对boilerplate和content块的判断就是使用该模型,终于有点直观了,复习一下吧.集体智慧编程中以预测用户是否选择付费,付费是basic还是premium的分类问题为例讲解.决策树每一步分支都采用贪心策略,熵(entropy)或基尼不纯度(gini im原创 2014-01-25 17:12:58 · 7162 阅读 · 0 评论 -
朴素贝叶斯经典案例:语言识别(language detection)
我对语言识别的问题一直很感兴趣,记得10年做全网爬虫时同事写了一个简单的网页语言检测,比较简单,只是判断unicode code point是否有足够数量落在中文的code point上,连基本的html标签都没有去除,当时也没有测试效果,很可能会把日本,韩文网页也当做中文页面了.最近学习solr/lucene,里面就带有language detection功能,可以使用两个库,一个是tika原创 2014-01-22 23:19:03 · 4754 阅读 · 1 评论