常用数据库存储方案
1.数据仓库解决方案(DWH)
DB2,Oracle,SQL Server SSRS
2.NoSQL
MongoDB(文本 执行效率比sql好 和Redis比较MongoDB好),Redis(基于内存地址的,单进程),Cassandra
3.内存数据库
SAP HANA(是世界上最好的数据库),Exasol EXASolution
4.Hadoop生态
Hive,Hbase,Impala
数据仓库方案对比
IBM、Oracle、EMC
稳定性和兼容性好
版本控制和发布有比较好的保障
业务逻辑成熟
问题:无法满足大数据应用的数据规模
Hadoop
扩容能力强
升级有风险
平台和组件间版本兼容性需要测试
Hadoop常见版本
1.开源版
自己维护代码分支,更适应自身应用的场景
开源版本升级时整合有风险(一般用于公司开发改进后公司自己用)
2.发行版
Cloudera CDH(一般比较推荐用这个)
Hortonworks HDP(这个比较有陷阱,可能是我没用对方法吧)
MapR(这个没用过,还是推荐用Cloudera CDH)
Hadoop就业方向
Hadoop运维工程师
Hadoop程序员
Map-Reduce
源代码
Hadoop架构师
Hadoop DBA
Hadoop深入的方向
1.NoSQL数据库
Hbase
MongoDb
Neo4J
2.Map-Reduce程序开发
Mahout
Hive
3.Hadoop源码
Hadoop高可用
hadoop架构图
Hadoop测试环境
⚫ 3台以上服务器
⚫ 虚拟机:ESXI+Vmware client
⚫ PC:linux或windows+cygwin
⚫ PC+虚拟机
4G以上内存,64位操作系统(32位最大支持内存3G)
安装virtual box或者vmware workstation