大数据分析BDA

Python及机器学习分享

终极算法【7】——类推学派

类比是推动许多历史上最伟大科学进度的动力。当达尔文阅读马尔萨斯的《人口论》时,被经济和自然界中生存竞争的相似性触动,所以有了自然选择理论的诞生。 类比在机器学习中扮演重要性刚开始进展缓慢,它的第一个算法的化身出现在一份写于1951年的技术报告中,作者是两位伯克利的统计学家——伊夫琳.菲克斯和乔....

2018-07-29 22:02:02

阅读数 401

评论数 0

终极算法【6】——贝叶斯学派

本质上,贝叶斯定理不仅仅是一个简单的规则,当你收到新的论据时,它用来改变你对某个假设的信任度:如果论据和假设一致,假设成立的概率上升,反之则下降。 如果我们观察一个即使没有该原因也会发生的结果,那么能肯定的是,该原因的证据力不足。贝叶斯通过以下句子概括了:P(原因|结果)随着P(结果),即结果的...

2018-07-29 12:49:13

阅读数 657

评论数 0

终极算法【5】——进化学派

在霍德.利普森位于康奈尔大学的创意机器实验室中,奇形怪状的机器人正在学习爬行和飞行。这些机器人并不是人类工程师设计出来的,而是进化来的,和地球上生命多样性产生的过程一样。使这些机器人进化的算法,是19世纪由查尔斯.达尔文发明的。那时他不觉得这是一种算法,部分原因在于当时缺少一个关键的子程序。一旦1...

2018-05-28 22:29:46

阅读数 558

评论数 0

大数据存储综述

本文内容源自网络整理,更多详细内容请阅读参考文献的原文。1 存储方式1.1 块存储块存储就好比硬盘一样,直接挂载到主机,一般用于主机的直接存储空间和数据库应用的存储。它分两种形式:DAS:一台服务器一个存储,多机无法直接共享,需要借助操作系统的功能,如共享文件夹。SAN:金融电信级别,高成本的存储...

2018-04-01 14:57:08

阅读数 8217

评论数 0

终极算法【4】——联结学派

赫布律是联结主义的基石,联结主义相信知识存储在神经元之间的联结关系中。威廉.詹姆斯在其著作《心理学原理》中,阐明了连接的主要原理,这和赫布律十分相似,只是大脑活动被神经元取代,放电效率被兴奋的传播取代。在符号学派中,符号和它们之间代表的概念之间有一一对应的关系。相反,联结学派的代表方式却是分散式的...

2018-03-24 18:03:27

阅读数 673

评论数 0

终极算法【3】——符号学派

理性主义者认为,感官会欺骗人,而逻辑推理是通往知识的唯一可靠的道路。经验主义者认为所有的推理都是不可靠的,知识必须来源于观察及实验。理性主义与经验主义是哲学家最热衷讨论的问题。柏拉图是早期的理性主义者,而亚里士多德是早期的经验主义者。关于这个问题的辩论,真正开始于启蒙运动时期,每方有三位伟大的思想...

2018-03-18 11:38:42

阅读数 792

评论数 1

终极算法【2】——终极算法

机器学习的应用非常广泛,更为惊人的是,相同的算法可以完成不同的事。在机器学习领域之外,如果你要解决不同的问题,就得编写两个不同的程序。 相同的机器学习算法不仅可以完成无穷无尽且不同的事,而且和被它们替代的传统算法相比,它们要简单得多。多数学习算法可能只有数百行或者数千行。相比之下,传统程序则需几...

2018-02-06 22:26:54

阅读数 834

评论数 0

终极算法【1】——机器学习革命

当今,算法与我们息息相关,生活周围的手机、汽车、房子、家电和工厂等等,算法无时无刻不在发挥着作用。如果所有算法都突然停止运转,那么就是人类世界的末日。 算法就是一系列指令,告诉计算机该做什么。克劳德.香农以“信息论之父”为人们所知,他第一个意识到晶体管的活动就是运算。如果A晶体管只有在B...

2018-01-28 22:03:59

阅读数 289

评论数 0

统计思维(实例11)——时间序列分析

时间序列(time series)是来自随时间变化的系统的一系列度量。本章使用的示例来自Zachary M. Jones。Jones的研究目的是调查像大麻合法化这样的政策性决定会对市场产生何种影响。希望大家对本章内容感兴趣,但借此机会重申对数据分析保持专业性态度的重要性。药品是否非法,哪些药品应当...

2018-01-17 22:38:40

阅读数 8821

评论数 3

统计思维(实例10)——回归

回归分析的目的是描述两组变量之间的关系,一组称为因变量(dependent variable),另一组称为解释变量(explanatory variable)。 如果回归分析中只有1个因变量和1个解释变量,就属于简单回归(simple regression)。本章讨论多重回归(multiple ...

2018-01-13 22:13:09

阅读数 414

评论数 0

统计思维(实例9)——线性最小二乘法

最小二乘法拟合 相关系数度量变量关系的强弱和正负,但并不关注关系的斜率。估计斜率最常用的是线性最小二乘法拟合(linear least squares fit),“线性拟合”是用一条线对变量关系进行建模,“最小二乘法”拟合实现线与数据之间的均方差最小。 假设我们要将一个点序列ys表示成...

2018-01-10 23:04:04

阅读数 447

评论数 0

统计思维(实例8)——假设检验

假设检验用数字方式描述一个效应的出现概率

2018-01-01 22:16:48

阅读数 583

评论数 0

统计思维(实例7)——估计

估计基本思路

2017-12-23 20:49:14

阅读数 407

评论数 0

统计思维(实例6)——术语整理

统计术语

2017-12-21 22:28:45

阅读数 196

评论数 0

统计思维(实例5)——变量之间的关系

如果能从一个变量的信息中得到另一个变量的信息,那么这两个变量之间就是相关的。

2017-12-21 22:21:13

阅读数 481

评论数 0

统计思维(实例4)——概率密度函数

概率密度函数

2017-12-16 22:19:09

阅读数 2992

评论数 0

统计思维(实例3)——分布建模

分析分布的CDF

2017-12-03 15:45:33

阅读数 591

评论数 0

贝叶斯思维(实例2)——估计

贝叶斯估计

2017-08-20 21:08:11

阅读数 1083

评论数 0

统计思维(实例2)——概率质量函数与累积分布函数

统计思维之概率质量函数与累积分布函数

2017-08-13 21:44:18

阅读数 2062

评论数 0

贝叶斯方法(实例1)——概率分布

贝叶斯推断之概率分布

2017-08-02 23:21:01

阅读数 1592

评论数 0

提示
确定要删除当前文章?
取消 删除