![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据处理
iteye_19740
这个作者很懒,什么都没留下…
展开
-
大数据时代,IBM 带你玩转大数据处理
IBM Big Replication V2.0 在今年中刚发布,是面向 Hadoop 和 Cloud 的大数据复制以及灾难备份解决方案。该产品前身是 WANdisco 公司拳头产品,WANdisco Fusion 是该公司在全球唯一能在广域网上进行实时交易数据复制的技术,适用于所有行业。经过商业收购重组,目前,IBM 正在全球大力地推广和销售 IBM Big Replication 解决方案。...2016-08-31 11:00:40 · 165 阅读 · 0 评论 -
流式大数据实时处理—技术、平台及应用
编者注:陈纯,计算机应用专家,浙江大学计算机科学与技术学院教授,中国工程院院士。是国家教委“跨世纪优秀人才培养计划”首批入选专家,第三届中国青年科技奖获得者。目前是国家列车智能化工程技术研究中心主任,国务院学位委员会学科评议组成员。陈纯教授长期从事计算机应用领域的前沿研究工作,在著名国际学术期刊和会议发表论文160多篇,曾获国家技术发明奖二等奖1项,国家科技进步奖二等奖2项,国家科技进步三等奖1...2016-10-24 13:26:29 · 759 阅读 · 0 评论 -
一张图,带你读懂 IBM 云上真实洞察数据那些事
在传统的交易数据库系统中,伴随着客户的交易行为发生,在业务系统中产生了相应的交易数据,并保存在关系型数据库系统,从而形成了业务的交易记录,各类业务应用系统都是围绕着关系型数据库打交道。当今,大家都已看到的现实状况是:随着越来越多面向移动(mobile-oriented)的应用被大量企业/机构所使用,很多交易数据以 JSON 文档形式产生,并保存在 NoSQL 数据库系统中。很多企...2016-10-20 13:43:03 · 175 阅读 · 0 评论 -
医疗大数据解决方案
医疗大数据生命周期在阿斯克医疗大数据方法论中,把医疗数据的生命周期分成下图的四个象限:第一象限:数据采集 在数据采集阶段,医院通常会使用关系型数据库(例如Oracle,DB2,MySQL……),其核心诉求是要保障数据的完整性和一致性,确保数据不会因为软硬件故障而遭到损失。此外,随着互联网流量的引入,数据的联机处理量级和效率也成为一个重要的考量。一些医院为提升联机事务的处理效率,引入分...2016-10-18 14:36:35 · 935 阅读 · 0 评论 -
IBM 全新大数据分析平台,助力数据云化
IT架构实现云化已经是企业IT战略的大势所趋。无论是采用私有云技术还是公有云技术,都要求软件具备云环境的适应能力。作为企业最重要的数据资产,依赖于底层的数据管理软件进行有效的管理。为实现从海量数据中得到实用的知识和信息,如何高效组织数据的存储和查找的技术一直在演进。从早期的层次型数据库到关系型数据库,从SQL数据库到NoSQL数据库再到处理非结构化数据的Hadoop、图数据库等平台,一直在发展...2016-10-17 11:16:45 · 226 阅读 · 0 评论 -
6个用于大数据分析处理的最好工具
在大数据和大数据分析,他们对企业的影响有一个兴趣高涨。大数据分析是研究大量的数据的过程中寻找模式,相关性和其他有用的信息,可以帮助企业更好地适应变化,并做出更明智的决策。大数据是一个含义广泛的术语,是指数据集,如此庞大而复杂的,他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源:传感器,气候信息,公开的信息,如杂志,报纸,文章。大数据产生...2016-10-14 14:03:07 · 260 阅读 · 0 评论 -
InfoSphere Streams——实时大数据分析平台
了解 InfoSphere Streams,它是 IBM 大数据平台的一部分。InfoSphere Streams 解决了针对能够实时处理生成的海量流数据的平台和架构的一种迫切需求。了解该产品的设计目标,它适用于哪些时机,其工作原理,以及它如何为 InfoSphere BigInsights 提供补充来执行高度复杂的分析。来自多个来源的信息正在以难以置信的速度增长。互联网用户数量在 2015...2016-10-13 14:14:04 · 346 阅读 · 0 评论 -
干货 | 数据挖掘入门必看10个问题
NO.1 Data Mining 和统计分析有什么不同? 硬要去区分Data Mining和Statistics的差异其实是没有太大意义的。一般将之定义为Data Mining技术的CART、CHAID或模糊计算等等理论方法,也都是由统计学者根据统计理论所发展衍生,换另一个角度看,Data Mining有相当大的比重是由高等统计学中的多变量分析所支撑。但是为什么Data Mining的出...2016-10-12 10:40:01 · 126 阅读 · 0 评论 -
Apache Hadoop 3.0新版本介绍及未来发展方向(内附PDF)
本文PPT来自 Hadoop研发工程师张喆、陈霄讲《Apache Hadoop 十周岁展望前方》在Strata + Hadoop World2016会议上的分享。过去十年,Apache Hadoop从无到有,从理论概念演变到如今支撑起若干全球最大的生产集群。接下来的十年,Hadoop将继续壮大,并发展支撑新一轮的更大规模、高效和稳定的集群。 我们此次将向大家全面介绍即将到来的Apache H...2016-10-11 11:04:32 · 223 阅读 · 0 评论 -
10大天然大数据公司,看他们如何挖掘数据价值
1、亚马逊的“信息公司” 亚马逊要处理海量数据,交易数据的直接价值很大。作为一家“信息公司”,亚马逊从每个用户的购买行为中获取信息,将用户在网站上的行为记录下来,页面停留时间、用户查看评论、搜索关键词、浏览商品等。亚马逊对数据价值的敏感和重视及挖掘能力,使它远超传统运营方式。2、谷歌“意图” 准确定义“大数据”概念的科技公司非谷歌莫属。根据搜索研究机构的数据,仅1个月...2016-10-10 14:03:50 · 161 阅读 · 0 评论 -
10款超好用的工具助力大数据与分析技术
考虑到现有技术解决方案的复杂性与多样化,企业往往很难找到适合自己的大数据收集与分析工具。然而,混乱的时局之下已经有多种方案脱颖而出,证明其能够帮助大家切实完成大数据分析类工作。下面我们将整理出一份包含十款工具的清单,从而有效压缩选择范畴。数据已经成为现代化企业中最为重要的宝贵资源。一切决策、策略或者方法都需要依托于对数据的分析方可实现。随着“大数据分析”逐步替代其上代版本,即“商务智能”...2016-09-27 11:55:50 · 163 阅读 · 0 评论 -
数据驱动业务——梦想成真,只差一步
长久以来,作为在信息管理领域服务多年的IBM人,就一直有个梦想:当业务人员需要分析公司的经营状况时,当市场部需要在特定时间做精准营销时,当老总紧急临时需要某条业务线的汇总数据时,我们可以有个系统马上及时、准确提供数据,漂亮美观地满足各种需求,实现数据驱动业务的目标!我们长久向往超市的模式:需要买东西的顾客轻松自在地在宽敞、整洁的货架上自由选择,当选择结束后,自行去收银台结账付款,需求满足、货品组...2016-09-26 11:16:11 · 129 阅读 · 0 评论 -
助力大数据集成,且看DataStage新玩法
一、大数据已成为企业信息供应链中的重要一环我们对大数据的认知在前几年还仅仅停留在概念和理论中,但转眼间,你会发现身边的大数据项目如雨后春笋般拔地而起,大数据俨然成为当今热得不能再热的话题和焦点。因为Hadoop及其相关开源技术的横空出世和迅猛发展,越来越多的企业发现那些尘封已久的历史数据或每天正在以指数级产生的交易数据、日志数据和客户行为数据其实蕴藏着巨大的价值,犹如一座座尚未开发的金矿...2016-09-22 10:42:34 · 287 阅读 · 0 评论 -
干货分享:CDC实时数据复制,大神教你调性能
数据实时复制任务的成与败,取决于多方面的因素,例如:被复制数据本身情况,源系统和目标系统的自身运行状况,网络通讯方面,系统架构设计和实施人员专业技术水平等等。面对复杂而艰巨的任务,IBM 公司专业化实施团队积累了丰富的经验,以下是我们这次分享的 IBM InfoSphere CDC性能调优的重点内容。1. 明白数据复制的需求和使用场景改善并提升数据复制作业性能是双向互动的操作,以满足业务...2016-09-05 11:05:12 · 642 阅读 · 0 评论 -
Hadoop和大数据:60款顶级开源工具
说到处理大数据的工具,普通的开源解决方案(尤其是Apache Hadoop)堪称中流砥柱。弗雷斯特调研公司的分析师Mike Gualtieri最近预测,在接下来几年,“100%的大公司”会采用Hadoop。Market Research的一份报告预测,到2011年,Hadoop市场会以58%的年复合增长率(CAGR)高速增长;到2020年,市场产值会超过10亿美元。IBM更是非常看好开源大数据工...2016-11-07 10:10:08 · 180 阅读 · 0 评论