- 博客(274)
- 资源 (10)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 [R时间序列]ARMA模型如何分辨拖尾与截尾
截尾是指时间序列的自相关函数（ACF）或偏自相关函数（PACF）在某阶后均为0的性质（比如AR的PACF）；拖尾是ACF或PACF并不在某阶后均为0的性质（比如AR的ACF）。对于AR和MA模型，其判断方法有所差异：p阶自回归模型 AR(P)AR(p)模型的偏自相关函数PACF在p阶之后应为零，称其具有截尾性；AR(p)模型的自相关函数ACF不能在某一步之后为零（截尾），而是按指数衰减（或成正弦波形式)，称其具有拖尾性。q阶移动平均模型 MA(q)
2018-10-24 18:09:55
53719
3
原创 [NLP自然语言处理]谷歌BERT模型深度解析
全部两个衡量指标上全面超越人类，并且还在11种不同NLP测试中创出最佳成绩，包括将GLUE基准推至80.4％（绝对改进7.6％），MultiNLI准确度达到86.7% （绝对改进率5.6％）等。可以预见的是，BERT将为NLP带来里程碑式的改变，也是NLP领域近期最重要的进展。BERT模型开启了NLP的新时代！从现在的大趋势来看，使用某种模型预训练一个语言模型看起来是一种比较靠谱的方法。
2018-10-15 17:49:18
106935
21
原创 DLL load failed: 找不到指定模块\Failed to load the native TensorFlow runtime解决方法
tensorflow-gpu v1.8.0 | cuda9.0 | cuDNN 不明确 | 备注：7.0.4/ 7.0.5/ 7.1.2/ 7.1.4。tensorflow-gpu v1.7.0 | cuda9.0 | cuDNN 不明确 | 备注：7.0.4/ 7.0.5/ 7.1.2/ 7.1.4。tensorflow-gpu v1.6.0 | cuda9.0 | cuDNN 不明确 | 备注：7.0.4/ 7.0.5/ 7.1.2/ 7.1.4。
2018-10-13 22:04:48
91460
26
原创 详解tf.Session()和tf.InteractiveSession()的区别
他们之间的区别就是后者加载自身作为默认的Session。tensor.eval()和operation.run()可以直接使用。下面是这两个函数的定义注释（其实官方讲的的很详细了）
2018-09-28 16:36:56
6096
原创 手把手教你在Linux上安装CUDA9.0（以及如何避开所有的坑）
本篇文章是基于安装CUDA 9.0以及Ubuntu的经验写，CUDA9.0目前支持Ubuntu16.04和Ubuntu17.04两个版本，如下图所示（最下面的安装方式我们选择第一个，即runfile方式）：大家可以先将CUDA文件下载下来，但是最好不要急于安装，一定要先将NVIDIA给出官方指导手册仔细看一下，然后再找几篇好的博客看一下，大致了解一下CUDA的安装过程，对安装过程中可能出现的问题要大致有一个了解，不到万不得已不要重装系统。
2018-09-24 16:24:06
56439
4
原创 调度算法的定义与使用价值
调度算法需要尽量让同一个应用的不同实例部署在不同的宿主机、不同的机架、不同的机房、不同的数据中心、不同的城市、真是不同的国家；为容器选择合适的宿主机显然是一个值得考虑的问题，这里我们说一说调度算法能够帮助我们实现的价值，这些价值可以从单个容器、到应用、再到数据中心，这三个不同的层面展示出来。除了以上这些内容，实际中调度算法要考虑的内容还有很多，例如公平性的问题、应用间的干扰问题、不同应用间资源共享（互相借用）的问题、单机资源的调配问题（超线程、内存带框等）等等。这个算法大赛是怎么回事儿呢？
2018-09-08 17:15:56
1891
原创 P2P（Peer to Peer）网络的原理
在设计中，每个节点的功能都是一样的。如果需要加入到网络中，不一定跟创世节点链接假设已存在的节点: 创世节点，A、B、C节点，此时有个D节点想要加入到网络。那么D节点不一定非得链接到创世节点，可以链接到A、B、C中的任意一个节点，然后该节点再广播给其他节点说"Hey, 有个新人叫做D的加入了网络"。这样所有人都知道，有个叫做D的节点存在，你可以和它通信，同时D节点和会同步已存在的节点。这样D节点也知道了其他节点的存在了。
2018-09-08 17:14:29
43251
7
原创 常用数学符号大学（包含罗马字符）
元素分别为f关于x、y、z偏导数 [(∂f/∂x), (∂f/∂y), (∂f/∂z)] 或 (∂f/∂x)i + (∂f/∂y)j + (∂f/∂z)k;w的旋度，其元素为[(∂fz /∂y) - (∂fy /∂z), (∂fx /∂z) - (∂fz /∂x), (∂fy /∂x) - (∂fx /∂y)]向量场w的散度，为向量算子∇ 同向量 w的点积, 或 (∂wx /∂x) + (∂wy /∂y) + (∂wz /∂z)拉普拉斯微分算子： (∂2/∂x2) + (∂/∂y2) + (∂/∂z2)
2018-08-28 11:16:10
22362
原创 word2vec的应用场景
对一个新用户，此题基本无解，如果在已知用户关注了几个『大V』之后，相当于知道了当前用户的一些关注偏好，根据此偏好给他推荐和他关注过大V相似的大V，就是一个很不错的推荐策略。同样的，在计算广告中，根据用户的点击广告的点击序列，将每一个广告变为一个向量。word -> 每一个大V就是一个词。
2018-08-28 00:13:58
2077
原创 什么是次梯度（次导数）
在说次梯度之前，需要先简单介绍一下导数的概念与定义。导数（英语：Derivative）是微积分学中重要的基础概念。一个函数在某一点的导数描述了这个函数在这一点附近的变化率。导数的本质是通过极限的概念对函数进行局部的线性逼近。对于一般的函数f(x)f(x)，其导数为：如果不使用增量，f(x)f(x)在 x0x0处的导数 也可以定义为：当定义域内的变量 xx趋近于 x0x0时，
2018-08-20 21:08:18
17315
2
原创 一个有趣的说法：多层神经网络的致命问题与过拟合
Bengio在一书中举了一个有趣的例子。他说：最近有人表示，他们用传统的深度神经网络把训练error降到了0，也没有用你的那个什么破Pre-Training嘛！然后Bengio自己试了一下，发现确实可以，但是是建立在把接近输出层的顶隐层神经元个数设的很大的情况下。于是他把顶隐层神经元个数限到了20，然后这个模型立马露出马脚了。无论是训练误差、还是测试误差，都比相同配置下的Pre-Training方法差许多。也就是说，顶层神经元在对输入数据直接点对点记忆，而不是提取出有效特征后再记忆。
2018-08-14 19:17:02
733
原创 深度学习中的“卷积”与数学中的“卷积”有何不同
在乘数不大时这么干显得有点蛋疼，不过要计算很长很长的两个数乘积的话，这种处理方法就能派上用场了，因为你可以用快速傅立叶变换 FFT 来得到卷积，比示例里的硬乘要快。我们有的时候会希望跳出核中的一些位置来降低计算的开销（相应的代价是提取特征没有先前那么好了）我们就把这个过程看作对全卷积函数输出的。注意第二个等号右边每个括号里的系数构成的序列 (14,34,14,4)，实际上就是序列 (2,4) 和 (7,3,1) 的卷积。两个多项式乘积的在基上展开的系数就是两个多项式各自在基上展开系数的卷积。
2018-08-13 19:40:37
6872
原创 对全连接层（fully connected layer）的通俗理解
全连接层（fully connected layers，FC）在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中，全连接层可由卷积操作实现：对前层是全连接的全连接层可以转化为卷积核为1x1的卷积；而前层是卷积层的全连接层可以转化为卷积核为hxw的全局卷积，h和w分别为前层卷积结果的高和宽。全连接的核心操作就是矩阵向量乘积 y = Wx。
2018-08-03 11:58:41
266737
27
转载 多线程三大概念：并发并行，阻塞，同异步
1. 阻塞，非阻塞 首先，阻塞这个词来自操作系统的线程/进程的状态模型中，如下图：一个线程/进程经历的5个状态，创建，就绪，运行，阻塞，终止。各个状态的转换条件如上图，其中有个阻塞状态，就是说当线程中调用某个函数，需要IO请求，或者暂时得不到竞争资源的，操作系统会把该线程阻塞起来，避免浪费CPU资源，等到得到了资源，再变成就绪状态，等待CPU调度运行。阻塞调用是指调用结果返回...
2018-08-02 19:22:53
731
原创 Python机器学习基础教程（一）：简介
关于这本书，其实就是一个非常实用的scikit-learn使用教程，比官方文档讲的要好而且是中文翻译，基本上机器学习该用到的库都讲到了。建议大家在阅读前至少掌握入门级的机器学习算法知识，因为这本书不讲算法和数学，只教你用Sklearn调参和模型权衡。
2018-08-02 19:13:46
6343
原创 异常检测算法：孤立森林(Isolation Forest)
比如常用的统计方法，基于分类的方法，和基于聚类的方法，这些传统算法通常是对正常的数据构建一个模型，然后把不符合这个模型的数据，认为是异常数据。预测的过程就是把测试数据在iTree树上沿对应的条件分支往下走，直到达到叶子节点，并记录这过程中经过的路径长度h(x)，即从根节点，穿过中间的节点，最后到达叶子节点，所走过的边的数量(path length)。从上面的评价中来看，iForest算法在实际的应用中应该具有不错的效果，得益于随机森林的思想，能快速处理大规模的数据，在当前的大数据环境下，应该很受欢迎。
2018-08-01 13:24:36
25630
2
原创 机器学习实战系列（八）：分类与回归树
课程的所有数据和代码在我的Github：Machine learning in Action，目前刚开始做，有不对的欢迎指正，也欢迎大家star。除了 版本差异，代码里的部分函数以及代码范式也和原书不一样（因为作者的代码实在让人看的别扭，我改过后看起来舒服多了）。在这个系列之后，我还会写一个scikit-learn机器学习系列，因为在实现了源码之后，带大家看看SKT框架如何使用也是非常重要的。 ...
2018-07-26 22:17:40
846
转载 深入浅出Flume之原理解析
阅读目录(Content)一、Flume简介 二、Flume特点 三、Flume的一些核心概念 3.1、Agent结构 3.2、source 3.3、Channel 3.4、Sink 四、Flume拦截器、数据流以及可靠性 4.1、Flume拦截器 4.2、Flume数据流 4.3、Flume可靠性 五、Flume使用场景 5.1、多个agent顺...
2018-07-25 00:14:39
1229
原创 Java中synchronized与Lock的区别
***//***//***//***//***/}lock()：获取锁，如果锁被暂用则一直等待unlock():释放锁tryLock(): 注意返回类型是boolean，如果获取锁的时候锁被占用就返回false，否则返回truetryLock(long time, TimeUnit unit)：比起tryLock()就是给了一个时间期限，保证等待参数时间。
2018-07-20 13:07:56
16514
7
转载 深入浅出Java反射机制
JAVA反射机制是在运行状态中，对于任意一个类，都能够知道这个类的所有属性和方法；对于任意一个对象，都能够调用它的任意一个方法和属性；这种动态获取的信息以及动态调用对象的方法的功能称为java语言的反射机制。要想解剖一个类,必须先要获取到该类的字节码文件对象。而解剖使用的就是Class类中的方法.所以先要获取到每一个字节码文件对应的Class类型的对象.以上的总结就是什么是反射反射就是把java类中的各种成分映射成一个个的Java对象。
2018-07-18 18:29:51
351
原创 Python-Scikit learn保存机器学习训练的模型
在做模型训练的时候，尤其是在训练集上做交叉验证，通常想要将模型保存下来，然后放到独立的测试集上测试，下面介绍的是Python中训练模型的保存和再使用。scikit-learn已经有了模型持久化的操作，导入joblib即可。
2018-07-17 23:56:01
1758
原创 python DataFrame获取行数、列数、索引及第几行第几列的值
print df.ix[[0]].values[0][0]#第一行第一列的值。print df.ix[[1]].values[0][1]#第二行第二列的值。print df.ix[[0]].index.values[0]#索引值。print df.iloc[:,0].size#行数。print df.columns.size#列数。
2018-07-15 13:30:17
25352
原创 python中计算DataFrame,Series的数据频率
我的机器学习教程「美团」算法工程师带你入门机器学习 已经开始更新了，欢迎大家订阅~任何关于算法、编程、AI行业知识或博客内容的问题，可以随时扫码关注公众号「图灵的猫」，加入”学习小组“，沙雕博主在线答疑~此外，公众号内还有更多AI、算法、编程和大数据知识分享，以及免费的SSR节点和学习资料。其他平台（知乎/B站）也是同名「图灵的猫」，不要迷路哦~在pa...
2018-07-15 13:26:51
8916
原创 Scala学习笔记——主构造器、辅助构造器与私有构造器
上述代码声明并初始化了不可变字段name和color，并且这两个字段都是对象私有的。也就是说，类的方法，只能访问到当前对象的字段。想要让主构造器变成私有构造器，只需要加上private关键字即可。这样做之后，就必须使用辅助构造器来构造Dog对象了。
2018-07-14 17:41:30
5436
原创 机器学习实战系列（七）：数值回归与预测
课程的所有数据和代码在我的Github：Machine learning in Action，目前刚开始做，有不对的欢迎指正，也欢迎大家star。除了 版本差异，代码里的部分函数以及代码范式也和原书不一样（因为作者的代码实在让人看的别扭，我改过后看起来舒服多了）。在这个系列之后，我还会写一个scikit-learn机器学习系列，因为在实现了源码之后，带大家看看SKT框架如何使用也是非常重要的...
2018-07-14 15:18:49
2417
1
原创 机器学习实战系列（六）：Adaboost提升法
目前刚开始做，有不对的欢迎指正，也欢迎大家star。除了 版本差异，代码里的部分函数以及代码范式也和原书不一样（因为作者的代码实在让人看的别扭，我改过后看起来舒服多了）。在这个系列之后，我还会写一个scikit-learn机器学习系列，因为在实现了源码之后，带大家看看SKT框架如何使用也是非常重要的。Adaboost提升算法是机器学习中很好用的两个算法之一，另一个是SVM支持向量机；机器学习面试中也会经常提问到Adaboost的一些原理；
2018-07-13 13:56:26
793
原创 《机器学习实战》原书数据与代码（基于Python3）汇总
这次做的系列是《机器学习实战》，原书比较久远了，且代码和练习都是基于Python2，我个人是升级到了Python3，因此使用最新的版本来写这些习题。具体2和3其实在基础语法上并没有太多差别，一些高级特性比如装饰器工厂，协程，IO等Python3的新用法，一般机器学习也用不上，因为追求性能的话都会用C/C++等语言去实现，Python只是小规模的测试用。除了版本差异，代码里的部分函数以及代码范式也和原书不一样（因为作者的代码实在让人看的别扭，我改过后看起来舒服多了）。
2018-07-13 12:16:46
22206
6
原创 Java中List与ArrayList的区别及用法
因此，List接口不能被构造，也就是我们说的不能创建实例对象，但是我们可以像下面那样为List接口创建一个指向自己的对象引用，而ArrayList实现类的实例对象就在这充当了这个指向List接口的对象引用。要是你已经学过了OOP，上面的部分是不难理解的，这是面向对象重要的知识点，面向对象最重要的就是多态，我们都知道接口和抽象不能被实例化，但是它们可以创建一个指向自己的对象引用，它们的实现类或子类就在充当这样的角色，我想这就是面向对象编程中多态的优势。
2018-07-10 21:34:37
6538
1
原创 机器学习实战系列（五）：SVM支持向量机
课程的所有数据和代码在我的Github：Machine learning in Action，目前刚开始做，有不对的欢迎指正，也欢迎大家star。除了 版本差异，代码里的部分函数以及代码范式也和原书不一样（因为作者的代码实在让人看的别扭，我改过后看起来舒服多了）。在这个系列之后，我还会写一个scikit-learn机器学习系列，因为在实现了源码之后，带大家看看SKT框架如何使用也是非常重要的...
2018-07-10 13:36:39
1593
1
原创 Hive报错：Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
我的机器学习教程「美团」算法工程师带你入门机器学习 以及「三分钟系列」数据结构与算法已经开始更新了，欢迎大家订阅~这篇专栏整合了这几年的算法知识，简单易懂，也将是我实体书的BLOG版。欢迎大家扫码关注微信公众号「图灵的猫」，除了有更多AI、算法、Python相关文章分享，还有免费的SSR节点和外网学习资料。其他平台（微信/知乎/B站）也是同名「图灵的猫」，不要迷路哦~...
2018-07-09 17:09:09
691
原创 Scala中的Apply方法与伴生对象
类和单例对象间的一个差别是，单例对象不带参数，而类可以。每个单例对象都被作为由一个静态变量指向的虚构类：synthetic class的一个实例来实现，因此它们与Java静态类有着相同的初始化语法。当单例对象与某个类共享同一个名称时，他被称作是这个类的伴生对象：companion object。类被称为是这个单例对象的伴生类：companion class。Scala 的apply 有2 张形式，一种是 伴生对象的apply ，一种是 伴生类中的apply，下面展示这2中的apply的使用。
2018-07-08 21:57:54
967
原创 推荐系统：NDCG评价指标
两个最受欢迎的指标是MAP和NDCG。我们在前段时间已经使用了（MAP）。NDCG表示。两者之间的主要区别是，MAP认为是二元相关性（一个项是感兴趣的或者不感兴趣的），而NDCG允许以实数形式进行相关性打分。这种关系类似分类和回归的关系。实际当中，很难直接地优化MAP或NDCG指标，因为他们是不连续的，所以不可微。幸运的是，表明，用于排名学习的一对损失函数近似于这些指标。
2018-07-07 14:04:01
33418
1
原创 《机器学习实战》UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0xae in position 199
今天做贝叶斯这一章的时候出了这个问题，Python3版本的GBK不太跳BUG，所以我特意上网查了一下，发现是文档里的“？”符号出错，作者应该打成了非英语系的符号。根据decode byte 0xae in position 199看出来好像是文件中某个字节不能解码，经过好心人的查找，是HAM的第23个文件出问题了。
2018-07-06 21:20:27
9973
4
转载 Github-emoji表情图像大全
目录人物自然事物地点符号人物 :bowtie: :smile: :laughing: :blush: :smiley: :relaxed: :smirk: :heart_eyes: :kissing_heart: :kissing_closed_eyes: :flushed: :relieved: :satisfied: :grin: :wink: :stuck_out_tongue_winkin...
2018-07-03 14:51:36
6288
原创 matplotlib无法显示图片的解决方法(non-gui backend)
Windows下解决方案应该是一样的（只是配置文件位置不同），还没有使用Windows跑过，请自行Google。（其中，~/.config/matplotlib/是配置文件matplotlibrc的路径）
2018-07-03 13:14:30
34431
2
原创 通俗理解Meanshift均值漂移算法
以上是官方的说法，即书上的定义，我的理解就是，在d维空间中，任选一个点，然后以这个点为圆心，h为半径做一个高维球，因为有d维，d可能大于2，所以是高维球。真正大牛的人就能创造算法，例如像meanshift，em这个样的算法，这样的创新才能推动整个学科的发展。还有的人就是把算法运用的实际的运用中，推动整个工业进步，也就是技术的进步。解释一下K()核函数，h为半径，Ck,d/nhd 为单位密度，要使得上式f得到最大，最容易想到的就是对上式进行求导，的确meanshift就是对上式进行求导.
2018-06-30 15:37:07
11678
4
翻译 R代码模拟世界杯1000次，速成2018世界杯预言帝
本文翻译自 Mango Solution 的博客，作者杨环，就职于 Mango Solutions，担任数据科学咨询顾问。本文已获得原作者授权。几周前的皇家马德里 VS 利物浦的欧冠总决赛是我差不多十年来唯一严肃认真看完的一场比赛，但我居然会挺胸抬头地预测捧起 2018 年大力神杯的会是巴西队？如果（真假伪）各界球迷朋友发现本文口感略柴，可能是因为我的足球类自然语言处理能力欠佳。不要紧，你可以关注...
2018-06-30 11:29:35
2439
支持向量机通俗导论(SVM三层境界)-2018最新LaTex版
2018-06-05
An Introduction to Statistical Learning with R
2018-05-26
刚学C，写了一个用指针作为参数的函数返回最大值，无法执行
2017-11-19
TA创建的收藏夹 TA关注的收藏夹
TA关注的人