- 博客(2)
- 资源 (6)
- 收藏
- 关注
RSS订阅转载 这5种必知的大数据处理框架技术，你的项目到底应该使用其中的哪几种
大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提
2016-10-24 15:21:44
9057
2
转载 理解MapReduce 入门文章--推荐
分析MapReduce执行过程 MapReduce运行的时候，会通过Mapper运行的任务读取HDFS中的数据文件，然后调用自己的方法，处理数据，最后输出。Reducer任务会接收Mapper任务输出的数据，作为自己的输入数据，调用自己的方法，最后输出到HDFS的文件中。整个流程如图：Mapper任务的执行过程详解每个Mapper任务是一个java进程，它会读取HDFS中
2016-10-17 16:48:34
1094
1
大数据分析的案例、方法与挑战
数据分析者面临的问题
数据日趋庞大，无论是入库和查询，都出现性能瓶颈
用户的应用和分析结果呈整合趋势，对实时性和响应时间要求越来越高
使用的模型越来越复杂，计算量指数级上升
传统技能无法应对大数据：R、SAS、SQL
2013-04-08
Oracle与DB2那些事（二） - DB2 Purescale群集.
群集环境下的数据库系统
•群集环境的数据库系统起源
•在单处理机系统的时代，CPU常常成为数据库系统的瓶颈
•多端口存储设备及相应控制软件出现后
•多服务器群集的数据库系统应运而生
•群集数据库系统的用途
•提高吞吐量
•分担用户的访问请求
•高可靠性
•故障接替
•高可靠性处于从属的地位
•群集数据库系统的技术挑战
•通信交互导致扩展性的损失
•访问封锁机制
•分布式锁管理器
•页面缓存
•服务器间的通信、交换
2013-04-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人