大数据hadoop基础

常用数据库存储方案

1.数据仓库解决方案（DWH）
DB2，Oracle，SQL Server SSRS
2.NoSQL
MongoDB（文本 执行效率比sql好 和Redis比较MongoDB好），Redis（基于内存地址的，单进程），Cassandra
3.内存数据库
SAP HANA（是世界上最好的数据库），Exasol EXASolution
4.Hadoop生态
Hive，Hbase，Impala

数据仓库方案对比

IBM、Oracle、EMC
稳定性和兼容性好
版本控制和发布有比较好的保障
业务逻辑成熟
问题：无法满足大数据应用的数据规模
Hadoop
扩容能力强
升级有风险
平台和组件间版本兼容性需要测试
Hadoop常见版本
1.开源版
自己维护代码分支，更适应自身应用的场景
开源版本升级时整合有风险（一般用于公司开发改进后公司自己用）
2.发行版
Cloudera CDH（一般比较推荐用这个）
Hortonworks HDP（这个比较有陷阱,可能是我没用对方法吧）
MapR（这个没用过，还是推荐用Cloudera CDH）

Hadoop就业方向

Hadoop运维工程师
Hadoop程序员
Map-Reduce
源代码
Hadoop架构师
Hadoop DBA

Hadoop深入的方向

1.NoSQL数据库
Hbase
MongoDb
Neo4J
2.Map-Reduce程序开发
Mahout
Hive
3.Hadoop源码
Hadoop高可用

hadoop架构图

Hadoop测试环境

⚫ 3台以上服务器
⚫ 虚拟机：ESXI+Vmware client
⚫ PC：linux或windows+cygwin
⚫ PC+虚拟机
4G以上内存，64位操作系统（32位最大支持内存3G）
安装virtual box或者vmware workstation