xuqiaobo的博客

转载 大数据学习笔记之四十四 深度学习的三种架构

1）生成性深度结构      1.1 含义            描述数据的高阶相关特性，或观测数据和相应类别的联合概率分布，与传统区分型神经网络不通，它可获取观测数据和标签的联合分布。这方便了先验概率和后验概率的估               计，而区分型模型仅能对后验概率进行估计     1.2 算法 DBN             1.2.1 介绍           

转载 大数据学习笔记之四十三 深度学习的基本方法

1）自动编码器    1.1 内涵           是一个逐层的贪心算法，在每一次迭代中训练一层网络，然后使用一个类似于后向传播的算法对深度网络进行调优    1.2 思想          将深度网络看成一连串的自动编码器，包括两个阶段：                  1，第一阶段是编码阶段，编码阶段对应输入层到隐藏层的映射；                  2

转载 大数据学习笔记之四十二 机器学习和深度学习的区别

1）机器学习的特点   1.1 存在人工干预         1.1.1   机器学习需要把数据表示成特征的集合，究竟用何种特征表示数据是由实现该算法的程序员决定的，称为特征选择         1.1.2   人们对于机器学习算法的选择，一旦选择了某种算法，就相当于假设数据集与这个算法的模型相似  1.2  目标  让计算机能够自己从数据中学习知识，从而为人服务  1.3  

转载 大数据学习笔记之四十一 数据挖掘算法之预测建模的回归模型

预测建模中的回归模型是对连续性目标变量的进行趋势预测

转载 大数据学习笔记之四十 数据挖掘算法之预测建模关于决策树模型的介绍

预测建模的方法中一个比较重要的就是决策树模型，但是决策树模型有可能出现过度拟合的情况，所以大部分情况下，请注意是否需要剪枝操作

转载 大数据学习笔记之三十九 数据挖掘算法之预测建模

数据挖掘关于预测建模的分析方法，主要根据已知的数据构建出数据模型，来对未知的数据的所属分类进行预测

转载 大数据学习笔记之三十八 数据挖掘算法之聚类分析

数据挖掘算法的第二大类是用于聚类分析，旨在发现密切相关的观测值主群，使得与属于不同簇的观测值相比，属于同一簇的观测值相互之间尽可能类似。将数据分成有意义或有用的组

转载 大数据学习笔记之三十七 数据挖掘算法之关联分析

数据挖掘中算法分为三种：关联分析、聚类分析和预测模型，本篇主要是为了介绍关联分析相关的知识

转载 大数据学习笔记之三十六 NewSQL相关知识

NewSQL 特点 支持关系数据模型、使用SQL作为其主要接口 类别 1）新的架构 工作在一个分布式集群的节点上，其中每个节点都拥有一个数据子集，SQL查询被分成查询片段发送给自己所在的数据的节点上执行，可以通过添加额外的节点来线性扩展，代表Google spanner 通常有一个单一的

转载 大数据学习笔记之三十五 NoSQL相关知识

1）传统关系型数据的特点  优点      容易理解，二维结构     使用方便，SQL语言是的操作方便     高性能，出色的索引，高效的查询     事务一致性，要个的强一致性支持     易于维护，丰富的完整性降低了数据冗余和数据不一致的概率缺点     维护一致性会使系统的读写性能比较差     由于固定的表结构，扩展性比较差2）NoSQL：

转载 大数据学习笔记之三十四 Storm流计算系统的架构

转载 大数据学习笔记之三十三 Storm流计算系统的关键术语

转载 大数据学习笔记之三十二 Storm流计算系统的关键特性

转载 大数据学习笔记之三十一 流计算系统介绍

转载 大数据学习笔记之三十 Spark介绍之一

Spark简介  主要用来加快数据分析的运行和读写速度  基于MapReduce算法实现的分布式计算，在拥有Hadoop MapReduce所有优点的基础上，其任务的中间结果还可以保存在内存中，查询速度快  处理迭代算法（机器学习、图挖掘算法）和交互式数据挖掘算法方面具有较大优势  核心概念是RDD，弹性分布式数据集   弹性，在计算过程