BigData - framework 内容目录

1.1 Nginx

Nginx使用场景
Nginx简介
Nginx安装&命令
负载均衡搭建
负载均匀
集群相关
资源静态化
代理
Session一致性

2.1 HBase 简介

Hbase简介
HBase对比Bigtable
数据库对比
HBase与传统数据库对比
Hadoop生态系统总图

2.2 HBase 架构

HBase 架构示意图
Client (客户端)
HMaster 主节点
HRegionServer 区域服务器
Zookeeper 分布式协调服务
Region 区域
Store 存储库
HLog(WaL-Log)

2.3 HBase 数据模型

RowKey行键
TimeStamp 时间戳
Column Family 列族
Qualifier 列
Cell 存储单元

2.4 HBase 环境配置

安装解压HBase
HBase配置文件
将HBase拷贝到其他主机
进入退出HBase Shell模式
启动测试HBase
测试网址

2.5 HBase DDL&DML&DQL流程

公共流程
DDL – 数据定义语言 Create
DQL – 数据查询语言 Select
DML – 数据操纵语言 Insert Delete Update

2.6 HBase优化

1. 表设计
2. 写表操作
3. 读表操作

3.1 Hive简介&原理架构

数据库
数据仓库
Hive简介
原理和架构

3.2 Hive数据类型 DML&DDL

Hive数据类型
Hive – DDL(数据定义语言)
Hive – DML (数据操作语言)

3.3 Hive环境搭建

配置多用户模式Hive
开启集群
配置单用户模式Hive

3.4 Hive函数

1.内置运算符
2.内置函数
3.内置的聚合函数（UDAF）
4.内置表生成函数（UDTF）
5.自定义函数

3.5 Hive 分区&分桶

Hive 分区 – 分区表
Hive 桶分 – 桶分表

3.6 Hive优化

…

4.1 Flume(日志收集系统)

简介
Flume工作流程
Flume的搭建
Flume 使用测试
项目中Flume的配置
ETL数据清洗

5.1 Protobuf(数据格式转换器)安装

…

6.1 Zookeeper

历史背景
数据存储的方式
数据的一致性
CAP原则
Paxos
Zookeeper
原语
配置文件
搭建Zookeeper环境
选举Leader的条件
操作Zookeeper

7.1 Redis

Redis(单节点版)安装
Redis的命令
数据的持久化

7.2 Redis 主从服务器搭建&哨兵机制

主从复制
搭建主从服务器
其他配置
哨兵机制
配置哨兵
集群机制
一致性Hash

8.1 ElasticSearch & Kibana

搜索模式
ElasticSearch概念
搭建流程
数据库操作CRUD
Elasticsearch的插件配置
Kibana
启动es和kibana

8.2 ElasticSearch ik分词器插件

IK(analysis-ik)分词器安装
mapping格式 & 数据测试
架构图
ES+Hbase实现百亿级别数据秒查询

9.1 Kfaka (高吞吐量的分布式发布订阅消息系统)

实现原理
架构图
Kafka环境搭建
ISR机制
JavaAPI
Kafka读写数据快
Flume+Kafka集成

10.1 storm(分布式框架)

简介
架构
计算流程
数据分发策略

10.2 storm(分布式框架)

安全分布式搭建
集群项目运行
容错机制
Flume + Kafka + Storm