10小时入门大数据：第1章-大数据概述

大数据概述

·        大数据故事

·        大数据背景

·        大数据基本概念

·        大数据设计到的技术

·        大数据带来的技术挑战

·        大数据带来的思维变革

OOTB镜像文件和虚拟机的使用

·        在虚拟机当中打开vmx虚拟文件就能导入虚拟机

·        虚拟机设置内存需要8g，但是实验就4g就行，4个处理核心

·        hadoop用户hadoop密码

·        ifconfig查看IP地址

说两则故事

·        足球的点球大战

·        电商把假货卖给谁

大数据和生活息息相关

大数据基本概念

定义

4v特性

·        volume 海量的数据规模

·        variety多样的数据 类型

·        velocity 快速的数据流转（前期批处理，后期流处理spark和storm，这个要求很重要）

·        value 发现数据价值

解决的问题

·        挖掘出价值

大数据带来的挑战

一般挑战

·        数据采集

·        数据存储

·        数据处理/分析/挖掘

·        可视化

技术架构上带来的挑战

·        对数据管理技术的挑战，传统关系型数据库不行了

·        经典数据库技术并没有考虑数据的多类别

·        实时性的技术挑战，尽可能快的对数据进行处理，做到实时推荐

·        网络架构，数据中心，运维的挑战

其他的挑战

·        数据隐私

·        数据源的复杂多样

如何应对大数据带来的挑战

数据存储和分析

·        系统瓶颈

·        存储容量

·        读写速度

·        计算效率

·        google大数据技术

·        GFS存储系统（HDFS）

·        BigTable数据库技术（HBase）

·        MapReduce计算框架

·        问题

·        google只发表了论文，没有开源代码

·        模仿google大数据技术的实现就来了(Hadoop)

如何学好大数据

·        官网

·        英文（积累）

·        项目实战对知识点进行巩固和融会贯通

·        社区活动：Meetup，开源社区大会，线下沙龙等

·        多动手，多练习，贵在坚持