云计算、Hadoop小记

Hadoop与云计算


云计算是服务模式和拥有模式的革命
网格计算：具体的集群的计算技术
云计算的特征：自我服务、按使用量计费、弹性框架、可定制化
 云计算怎样降低成本：
1、提高软硬件使用率
2、集中管理降低能耗
3、节约维护人员费用
云计算模式也会增加成本
1、安全风险
2、可用性风险
3、绑架风险


云计算的形态
1、私有云：企业内部
2、公有云：面向社会大众提供服务的，搜索引擎，网盘，离散下载，高速通道都符合云计算的观念
3、混合云
目前流行的开源云计算解决方案
1、Hadoop：Google的mapreduce与GFS的"山寨版"
2、与云计算Openstack，相当于EC2(亚马逊可以说是云计算的开拓者)的山寨版
其中Openstack是 用Python语言编写的，这样OpenStack代码质量相当高

Hadoop在云计算中的用途
 日志分析  探针设计
 排除爬虫和程序点击，对抗作弊

 

Hadoop：运用在离线数据分析


虚拟机集群的管理:Openstack


云计算  -->> 虚拟机集群  --》Openstack


hadoop集群在互联网企业的应用公司：京东商城 百度 阿里巴巴
数据仓库一般基于Hive架构，Hive支持SQL查询
数据仓库查询统计的结果会被导到Hbase,然后和应用进行连接