大数据学习02：大数据课程概述与大数据背景知识

Hadoop2.X管理与开发

每日关注

 2019年3月21日 星期四

1. 阿里AI labs成立方言保护专项小组，投入1亿元保护汉语方言

2. 小红书上线“品牌号”，并进行五大模块升级

3. 知乎否认内测“知乎百科”产品，“百科”是知乎话题的简介

4. 民政部：养老院查询APP“养老通”在北京地区上线

一、什么是大数据

 举例：
 1、电商的推荐系统：
 （问题1）大量的订单如何存储？
 （问题2）大量的订单如何计算？注意：可能运用推荐算法（协同过滤、ALS、逻辑回归）
2、核心问题：
（1）数据的存储------->分布式的文件系统（HDFS）
（2）数据的计算------->分布式计算：MapReduce、Spark（RDD：弹性分布式数据集）

二、数据仓库和大数据

  1、传统方式：搭建数据仓库来解决大数据的问题
  2、数据仓库就是一个数据库（Oracle、MySql、MS）

三、OLTP和OLAP

 1、OLTP：Online Transaction Processing 联机事务处理 指：（insert、update、delete）事务传统的关系型数据库解决的问题
 
 2、OLAP：Online Analytic Processing联机分析处理
 数据仓库就是一种OLAP的应用系统
 Hadoop、Spark看成是一种数据仓库的解决方案

四、Google的基本思想

   第二份优先保存在不是第一个机架的机架上（安全）
   第三份优先保存在第一个机架上的另一个服务器上（效率）

（一）GFS(Google File System)
     1、分布式文件系统
     2、大数据的存储问题
     3、HDFS中，记录数据保存的位置信息（元信息）--->采用倒排索引（Reverted Index）
     （*）什么是索引？index
            （1）create index 创建索引
            （2）就是一个目录
            （3）通过索引找到对应的数据
            （4）索引一定可以提高查询的速度
            
     
     （*）什么是倒排索引？

  (二)MR:分布式计算模型：问题来源：PageRank（网页排名）
  
（三）BigTable：大表-----------NoSql数据库：Hbase