![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据平台
iteye_19740
这个作者很懒,什么都没留下…
展开
-
干货分享:SparkBench--Spark平台的基准性能测试
SparkBench简介SparkBench是Spark的基准性能测试项目,由来自IBM Watson研究中心的五位研究者(Min Li, Jian Tan, Yandong Wang, Li Zhang, Valentina Salapura)发起,并贡献至开源社区。SparkBench的测试项目覆盖了Spark支持的四种最主流的应用类型,即机器学习、图计算、SQL查询和流数据计算。每...2016-08-12 10:39:40 · 734 阅读 · 0 评论 -
流式大数据实时处理—技术、平台及应用
编者注:陈纯,计算机应用专家,浙江大学计算机科学与技术学院教授,中国工程院院士。是国家教委“跨世纪优秀人才培养计划”首批入选专家,第三届中国青年科技奖获得者。目前是国家列车智能化工程技术研究中心主任,国务院学位委员会学科评议组成员。陈纯教授长期从事计算机应用领域的前沿研究工作,在著名国际学术期刊和会议发表论文160多篇,曾获国家技术发明奖二等奖1项,国家科技进步奖二等奖2项,国家科技进步三等奖1...2016-10-24 13:26:29 · 759 阅读 · 0 评论 -
一张图,带你读懂 IBM 云上真实洞察数据那些事
在传统的交易数据库系统中,伴随着客户的交易行为发生,在业务系统中产生了相应的交易数据,并保存在关系型数据库系统,从而形成了业务的交易记录,各类业务应用系统都是围绕着关系型数据库打交道。当今,大家都已看到的现实状况是:随着越来越多面向移动(mobile-oriented)的应用被大量企业/机构所使用,很多交易数据以 JSON 文档形式产生,并保存在 NoSQL 数据库系统中。很多企...2016-10-20 13:43:03 · 175 阅读 · 0 评论 -
全球最值得关注的100家人工智能公司(中国27家)
在过去两年多时间里,机器之心采访、记录和报道了全球人工智能领域无数优秀的人工智能技术、公司和产品。但随着行业的发展,我们也逐渐意识到,越来越多概念化与噱头性的产品和团队已经开始让正处于变革拐点的行业变得浮躁和难以判断。关于人工智能行业,到底哪些才是最值得我们关注的公司,而哪些公司又将主导人工智能的未来?We believe AI should be an extension of indiv...2016-10-19 11:30:43 · 213 阅读 · 0 评论 -
医疗大数据解决方案
医疗大数据生命周期在阿斯克医疗大数据方法论中,把医疗数据的生命周期分成下图的四个象限:第一象限:数据采集 在数据采集阶段,医院通常会使用关系型数据库(例如Oracle,DB2,MySQL……),其核心诉求是要保障数据的完整性和一致性,确保数据不会因为软硬件故障而遭到损失。此外,随着互联网流量的引入,数据的联机处理量级和效率也成为一个重要的考量。一些医院为提升联机事务的处理效率,引入分...2016-10-18 14:36:35 · 935 阅读 · 0 评论 -
IBM 全新大数据分析平台,助力数据云化
IT架构实现云化已经是企业IT战略的大势所趋。无论是采用私有云技术还是公有云技术,都要求软件具备云环境的适应能力。作为企业最重要的数据资产,依赖于底层的数据管理软件进行有效的管理。为实现从海量数据中得到实用的知识和信息,如何高效组织数据的存储和查找的技术一直在演进。从早期的层次型数据库到关系型数据库,从SQL数据库到NoSQL数据库再到处理非结构化数据的Hadoop、图数据库等平台,一直在发展...2016-10-17 11:16:45 · 226 阅读 · 0 评论 -
6个用于大数据分析处理的最好工具
在大数据和大数据分析,他们对企业的影响有一个兴趣高涨。大数据分析是研究大量的数据的过程中寻找模式,相关性和其他有用的信息,可以帮助企业更好地适应变化,并做出更明智的决策。大数据是一个含义广泛的术语,是指数据集,如此庞大而复杂的,他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源:传感器,气候信息,公开的信息,如杂志,报纸,文章。大数据产生...2016-10-14 14:03:07 · 260 阅读 · 0 评论 -
InfoSphere Streams——实时大数据分析平台
了解 InfoSphere Streams,它是 IBM 大数据平台的一部分。InfoSphere Streams 解决了针对能够实时处理生成的海量流数据的平台和架构的一种迫切需求。了解该产品的设计目标,它适用于哪些时机,其工作原理,以及它如何为 InfoSphere BigInsights 提供补充来执行高度复杂的分析。来自多个来源的信息正在以难以置信的速度增长。互联网用户数量在 2015...2016-10-13 14:14:04 · 346 阅读 · 0 评论 -
干货 | 数据挖掘入门必看10个问题
NO.1 Data Mining 和统计分析有什么不同? 硬要去区分Data Mining和Statistics的差异其实是没有太大意义的。一般将之定义为Data Mining技术的CART、CHAID或模糊计算等等理论方法,也都是由统计学者根据统计理论所发展衍生,换另一个角度看,Data Mining有相当大的比重是由高等统计学中的多变量分析所支撑。但是为什么Data Mining的出...2016-10-12 10:40:01 · 126 阅读 · 0 评论 -
Apache Hadoop 3.0新版本介绍及未来发展方向(内附PDF)
本文PPT来自 Hadoop研发工程师张喆、陈霄讲《Apache Hadoop 十周岁展望前方》在Strata + Hadoop World2016会议上的分享。过去十年,Apache Hadoop从无到有,从理论概念演变到如今支撑起若干全球最大的生产集群。接下来的十年,Hadoop将继续壮大,并发展支撑新一轮的更大规模、高效和稳定的集群。 我们此次将向大家全面介绍即将到来的Apache H...2016-10-11 11:04:32 · 223 阅读 · 0 评论 -
收藏 | 全球大数据7大阵营,你都知道吗?
近几年,大数据行业已经逐渐成熟,在也不是大家谈之缥缈的行业,目前国内外从事这一行业的企业多入牛毛,但能称的上权威和代表,也都数的过来,下面我们就目前全球关于大数据行业所涉猎的范围作了一个分类,称其为7大阵营,以下是7大阵营的企业LOGO图。近几年,大数据行业已经逐渐成熟,在也不是大家谈之缥缈的行业,目前国内外从事这一行业的企业多入牛毛,但能称的上权威和代表,也都数的过来,下面我们就目前全...2016-09-13 09:55:04 · 181 阅读 · 0 评论 -
大数据时代:传统BI还能走多远?
从事BI多年,经历了经营分析系统的大建设,大发展时期,也有幸处在大数据与传统BI系统的交替之际,因此特别来谈谈,传统BI还能走多远?技术为业务服务,因此这里不谈技术,更多从使用者的角度去阐述原因,理了八个方面,每个方面都是笔者亲历,当然任何穷举法都无法证明绝对正确,但希望能引起思考。[b]1、资源申请-从月到日,不可同日耳语[/b]自从企业有了[url=http://b...2016-09-12 11:49:43 · 114 阅读 · 0 评论 -
Hadoop 信息集成平台,让大数据分析更简单!
就本身而言,Hadoop 不是很有用的东西,原因是它需要编写大量复杂和定制的程序代码,难以治理,也没有数据质量概念和数据治理可谈了。企业用户都忙于去研究如何解决使用 Hadoop 所碰到的问题,主要是涉及到项目实施时间、成本和风险等,而 Hadoop 自身的客户化编程就增加了项目实施时间、成本和风险。大数据项目实施仅靠 Hadoop 是不会成功的,除非你能有效地做好大数据集成这部分的工作,所...2016-09-08 10:49:22 · 179 阅读 · 0 评论 -
干货分享:CDC实时数据复制,大神教你调性能
数据实时复制任务的成与败,取决于多方面的因素,例如:被复制数据本身情况,源系统和目标系统的自身运行状况,网络通讯方面,系统架构设计和实施人员专业技术水平等等。面对复杂而艰巨的任务,IBM 公司专业化实施团队积累了丰富的经验,以下是我们这次分享的 IBM InfoSphere CDC性能调优的重点内容。1. 明白数据复制的需求和使用场景改善并提升数据复制作业性能是双向互动的操作,以满足业务...2016-09-05 11:05:12 · 642 阅读 · 0 评论 -
文本数据分析神器—— IBM BigInsights Text Analytics
文本数据分析的价值文本数据在我们的生活中无处不在:在微信朋友圈、微博中发表的感想;在论坛上发表的评价商品的帖子;由应用后台自动生成的机器日志等。这类数据本身包含了大量有用的信息,但由于文本表达方式可以很灵活,在不需要严格遵循语法的情况下也能准确表达信息。比如下图中表达人物年龄就有三种不同的说法。例子中,关于年龄最重要的信息是姓名和岁数,图中右侧的的结构化数据才是表达这些核心信息、应用可以...2016-08-30 10:49:19 · 570 阅读 · 1 评论 -
大数据时代:十大最热门的大数据技术
随着大数据分析市场快速渗透到各行各业,哪些大数据技术是刚需?哪些技术有极大的潜在价值?根据弗雷斯特研究公司发布的指数,这里给出最热的十个大数据技术。预测分析:预测分析是一种统计或数据挖掘解决方案,包含可在结构化和非结构化数据中使用以确定未来结果的算法和技术。可为预测、优化、预报和模拟等许多其他用途而部署。随着现在硬件和软件解决方案的成熟,许多公司利用大数据技术来收集海量数据、训练模型、优...2016-08-22 14:20:50 · 118 阅读 · 0 评论 -
Hadoop和大数据:60款顶级开源工具
说到处理大数据的工具,普通的开源解决方案(尤其是Apache Hadoop)堪称中流砥柱。弗雷斯特调研公司的分析师Mike Gualtieri最近预测,在接下来几年,“100%的大公司”会采用Hadoop。Market Research的一份报告预测,到2011年,Hadoop市场会以58%的年复合增长率(CAGR)高速增长;到2020年,市场产值会超过10亿美元。IBM更是非常看好开源大数据工...2016-11-07 10:10:08 · 180 阅读 · 0 评论