- 博客(42)
- 收藏
- 关注
RSS订阅转载 百分点万亿级大数据平台的建设实践
从互联网、移动互联网到物联网，数据量之巨大已突破想象边界。与此同时，实时数据分析的需求日益增长，那么，当数据量达到亿级、百亿级甚至万亿级规模，实时数据分析如何来做？尤其在To B/G来说，大多数企业和政府客户区别于互联网企业，自...
2019-05-31 14:11:27
640
转载 智能数据可视化的5个步骤
如今，许多企业正在利用模型、数据分析、数据可视化和仪表板等措施实现数据驱动。例如商业领袖注重提升客户体验，技术领导者注重分析速度和网站指标，应用程序团队在其应用程序中嵌入分析程序等等。这意味着更多的开发人员、...
2019-04-19 18:26:52
1237
转载 防止数据湖变成“沼泽”的四个基本步骤
尽管数据湖有很大的前景，但由于缺乏治理能力和较为成功的先例，近年来，数据湖收到了很多负面评论。企业管理者和技术人员一直期待着数据湖能为企业创造更大价值，但结果却令人失望。但是随着云计算的可用性越来越高...
2019-04-10 17:54:54
274
转载 从技术到工具再到落地，Pivotal多位技术专家详解Greenplum
2018年12月15日-16日，2018 PostgreSQL中国技术大会在浙江吉利控股集团有限公司正式开幕。大会由中国PostgreSQL用户会主办，云集了国内各界的PostgreSQL技术专家，笔者有幸在大会现场采访到了...
2018-12-28 11:09:57
368
转载 从现在式和未来式看百分点这“5亿”融资始末！
摘要：只看当下，一家企业或许很容易找到一条生存之路。如果看未来，一家企业希望3年后、5年后甚至10年后都有生意可做，要怎么选呢?如果既希望有生意可做，又希望做得好并在行业内达到一定高度，又应该将精力投向何处呢?近日，...
2018-12-10 17:44:49
104
转载 国内外六大技术专家同台：数据平台搭建如何有效“避坑”？
在数据时代，不少企业学会以数据驱动决策。但是，谈及实践，不少企业又犯了难：如何从海量数据中选择对业务增长有价值的部分?如何清洗并分析数据以驱动决策?如何不让庞大的数据降低整体计算性能?这些问题或许都可以在第七届TOP100全...
2018-12-03 16:55:53
121
转载 洞察行业100+顶级案例，TOP100summit盛大开幕！
摘要：转眼间，2018年已接近尾声。这一年，我们感受到了大数据的稳步增长，见证了人工智能的快速发展，经历了区块链的大起大落。在我们低头努力赶路的时候，我们似乎忘记了思考，借鉴与交流。正所谓“他山之石 ，可以攻玉”，多...
2018-12-03 16:53:32
248
转载 夏军：小米大数据集成架构演化之路
【IT168 专稿】本文根据夏军老师在2018年10月18日【第十届中国系统架构师大会】现场演讲内容整理而成。讲师简介：夏军，小米数据流平台负责人，曾就职于腾讯和百度，主要负责消息...
2018-11-29 17:16:00
644
转载 张翼：Spark SQL在携程的实践经验分享！
【IT168 专稿】本文根据张翼老师在2018年5月13日【第九届中国数据库技术大会】现场演讲内容整理而成。讲师简介：张翼，10年互联网老兵;2015年3月加入携程，携程的大数据平...
2018-11-28 11:34:26
267
转载 Redis Labs：真正的零延迟系统有望诞生！
我们经常谈论起“实时”这个词儿，比如实时收集、实时计算、实时展示，同时，我们也知道大多数企业的应用程序所谓的可提供实时响应，通常意味着延迟在一到两秒钟，甚至更少，这对于人类的感知而言是无关紧要的。然而，在某些场景下，响应时间...
2018-11-23 09:35:09
237
转载 李亚坤：Hadoop YARN在字节跳动的实践
【IT168 专稿】本文根据李亚坤老师在2018年10月17日【第十届中国系统架构师大会】现场演讲内容整理而成。讲师简介：李亚坤，哈工大硕士，目前从事分布式计算资源调度系统YARN...
2018-11-23 09:34:18
419
转载 Oracle二号人物将出任谷歌云CEO，或首拿AWS开刀！
摘要：谷歌云现任首席执行官Diane Greene已于近日辞职，前甲骨文ORCL的高层管理人员之一Thomas Kurian将于本月晚些时候到谷歌云业务部门报道.....作为Alphabet's ...
2018-11-22 13:49:27
113
转载 Facebook恐打破最长月度连跌记录，黄金时代宣告结束！
短短一周，Facebook事件持续发酵，长时间占据着外媒网站的头版头条，诸如“Facebook时代终结”、“近一半年轻用户删除Facebook应用”、“扎克伯格与媒体开怼”、“Facebook前安全执行官爆料大选真相”......
2018-11-20 15:10:21
119
转载 大数据在快狗打车中的应用与实践
本文根据胡显波老师在2018年5月12日【第九届中国数据库技术大会(DTCC)】现场演讲内容整理而成。讲师简介：胡显波：快狗打车IT总部高级技术经理，2014年加入58...
2018-11-20 14:14:44
192
转载 分析师：2019年关于亚太地区的五点预测！
在最近几周由调研机构和分析师出具的2019年关于亚太地区的技术预测中，越来越多的企业开始成为数字化组织，IDC在报告中表明，随着人工智能、云计算和敏捷开发的落地，企业数字化转型脚步将逐渐加快。IDC亚太区集团副总裁Sandr...
2018-11-19 18:59:06
107
转载 谷歌云和AWS再开战：硝烟弥漫皆因一个数据盒子！
AWS在全球云计算市场占据40%左右的市场份额，并且其还有很多周边产品帮助用户快速将数据上云，AWS的数据快递盒子Snowball就是最好的示例！2015年，AWS最早推出Snowball的时候，主要是用来快递数据，将大量数...
2018-11-16 14:07:25
78
转载 程序员必看！2019年需求最高的TOP 10项技能！
对于希望充分利用数据的企业而言，掌握数据挖掘和处理相关技能的人才需求仍然很高，DevOps工程师、Python程序员、数据工程师和机器学习工程师已经成为企业的核心技术人才。本文，我们列出了IT专业人员在人才竞争中必须具备的十...
2018-11-16 13:48:39
99
转载 网易马进：DDB从分布式数据库到结构化数据中心的架构变迁
导语：本文根据马进老师在2018年5月10日【第九届中国数据库技术大会(DTCC)】现场演讲内容整理而成。马进 网易 DDB项目负责人来自网易杭研大数据平台组，入职以来...
2018-11-14 18:01:03
493
转载 恶意软件日均进攻百万次！三大方法保护Hadoop集群免遭攻击！
大约在两年前，开源数据库解决方案MongoDB以及Hadoop曾遭受过大量恶意攻击，这些攻击后被统称为“勒索软件”，因为其攻击者会擦除或加密数据，然后向被攻击者索要资金以恢复数据。自今年以来，不少恶意软件开始频繁向Hadoo...
2018-11-09 14:41:23
184
转载 MapReduce实现之Reduce端重分区Join操作优化！
在前一篇文章中（链接参加文末），我们介绍了map端Join操作的几大方法。一般情况下，我会推荐企业选择map端的Join操作，这可以节省不小的成本。但是，如果数据集过于庞大以至于没有合适的map端连接方法适用，则需要使用Ma...
2018-11-07 17:44:20
221
转载 IT巨头大搞合纵连横，云端市场争夺愈演愈烈！
摘要：微软，IBM，Salesforce和谷歌等全球主要IT企业今年已花费数十亿美元扩展云服务。2018年接近尾声，这一年IT圈发生了无数大大小小的并购案，但巨头们的目...
2018-11-05 17:17:04
77
转载 企业大数据平台MapReduce应用之Join实践！
在《Hadoop从入门到精通》大型专题的上半部分（专题链接见文末），我们讲解了Hadoop基本原理并且知道如何在Hadoop中组织、移动和存储数据。接下来，我们将探讨如何简化企业大数据技术应用。本章主要研究大数据模式，针对优...
2018-11-02 14:16:52
210
转载 专访苏宁李晓健：窥探企业前端架构升级的前因后果！
多年之前，大部分人对于前端工程师的工作有着很大误解，以为不过是简单的做一些HTML和CSS的工作，偶尔充当一下设计师即可，现在也不排除有如此想法的人。近两年，随着前端架构的迅猛发展，前端工程师这一岗位才逐渐被正确认知。身为一...
2018-11-01 16:15:36
92
转载 这是目前为止对机器智能与人类智能最深刻的发问！
一般而言，我们习惯于表述“人工智能”，并不对其概念进行具体细分。人工智能之所以热度居高不下与大众的较高关注度和媒体炒作分不开，而人们往往只关注其表象而忽略了其本质，将机器智能与人类智能混为一谈。近日，香港科技大学教授，国际人...
2018-10-30 11:57:36
119
转载 如何将数据从Hadoop导出到关系型和NoSQL数据库？
数据库通常是Hadoop数据输出的目标之一，企业通常将数据移回生产数据库以供生产系统使用，或者将数据移动到OLAP数据库以执行商业智能和分析功能。（注：本文为《Hadoop从入门到精通》大型专题的第五章内容，...
2018-10-29 16:24:51
803
转载 赛灵思开发者大会：全球最快的数据中心长啥样？
摘要：性能超越 GPU 4 倍，超 CPU 90 倍，并可针对不同工作负载提供前所未有的灵活应变能力根据维基百科的定义，数据中心是一整套复杂的设施，不仅包括计算机系统和其它与之配套的设备(例如通信...
2018-10-24 14:07:05
116
转载 自动化HDFS数据复制机制的简单方法！
到目前为止，我们已经看到了从HDFS复制数据的不同选择。大多数机制没有自动化或调度功能，不过是用于访问数据的低级方法。如果希望自动化数据副本，可以将其中一种低级技术包含在调度引擎(如cron或Quartz)中。但是，如果正在...
2018-10-23 17:11:12
368
转载 全球调研报告显示：企业数据分析技术投资回报比偏低！
近日，数据智能技术供应商Teradata天睿公司委托独立科技市场调研公司Vanson Bourne面向全球企业高级管理人员开展调研。结果显示，企业在各部门全面使用智能化技术的进程严重受阻。目前，企业不再局限于部署更多分析技术...
2018-10-22 16:38:00
95
转载 CentOS 7.4上通过keepalive实现Tomcat高可用
在本篇文章中，你将找到如何在CentOS7.4上通过Keepalive实现Tomcat 7的高可用。文章将以实例的形式来阐述，包括架构的搭建，软件的配置，实现的方法都体现出来，力求详尽。这对加强重要应用服务的高可用及安全具有...
2018-10-22 16:01:52
284
转载 从诞生到成长！数家名企大数据平台应用演进之路解析！
十余年来，企业架构经过了数次迭代和变迁，ITPUB是这一切的重要见证者，同样陪伴了无数架构师的成长。10月17日，第十届中国系统架构师大会以“十年架构，成长之路”为主题，云集了国内CTO、研发总监、高级系统架构师、开发工程师...
2018-10-22 15:34:10
203
转载 十年磨一剑！SACC带你领略企业大数据平台实践优化！
十余年来，企业架构经过了数次迭代和变迁，ITPUB是这一切的重要见证者，同样陪伴了无数架构师的成长。10月17日，第十届中国系统架构师大会以“十年架构，成长之路”为主题，云集了国内CTO、研发总监、高级系统架构师、开发工程师...
2018-10-22 15:22:11
213
转载 如何使用Hadoop捆绑的低级工具进行数据提取？
在之前的几个章节，我们已经掌握了如何将数据从其他系统导入Hadoop。一旦企业使用Hadoop执行某些关键功能，无论是数据挖掘还是数据聚合，下一步通常是将该数据外部化到其他系统。例如，通常依靠Hadoop对从实时系统中提取的...
2018-10-19 17:30:42
190
转载 如何将kafka中的数据快速导入Hadoop？
Kafka是一个分布式发布—订阅系统，由于其强大的分布式和性能特性，迅速成为数据管道的关键部分。它可完成许多工作，例如消息传递、指标收集、流处理和日志聚合。Kafka的另一个有效用途是将数据导入Hadoop。使用Kafka的...
2018-10-18 17:57:42
555
转载 数据导入终章：如何将HBase的数据导入HDFS？
我们的最终目标是将数据导入Hadoop，在之前的章节中，我们介绍了如何将传统关系数据库的数据导入Hadoop，本节涉及到了HBase。HBase是一种实时分布式数据存储系统，通常位于与Hadoop集群相同的硬件上，或者与Ha...
2018-10-15 15:53:46
1048
转载 如何将传统关系数据库的数据导入Hadoop？
大多数企业的关键数据存在于OLTP数据库中，存储在这些数据库中的数据包含有关用户，产品和其他有用信息。如果要分析此数据，传统方法是定期将该数据复制到OLAP数据仓库中。Hadoop已经出现在这个领域并扮演了两个角色：数据仓库...
2018-10-12 17:01:38
1143
转载 如何将日志文件和二进制文件快速导入HDFS？
日志数据在应用程序中一直很常见，Hadoop能够处理生产系统生成的大量日志数据，比如网络设备、操作系统、Web服务器和应用程序的日志数据。这些日志文件提供了对系统和应用程序运行以及使用的见解，统一日志文件的原因是它们往往采用...
2018-10-11 15:14:33
436
转载 Cloudera和Hortonworks宣布合并：对Hadoop的一记重创！
国庆期间，大数据领域的两大巨头公司Cloudera和Hortonworks宣布平等合并，Cloudera以股票方式收购Hortonworks，Cloudera股东最终获得合并公司60%的股份。 这笔交易意味着Hadoop市场...
2018-10-09 11:17:52
55
转载 Hadoop数据传输：如何将数据移入和移出Hadoop？
企业在项目中完全使用Hadoop之前，数据移动是必须解决的事情之一。如何将数千台主机日志数据放入Hadoop?从关系型或者No/NewSQL系统以及Hadoop中获取数据的最有效方法是什么?如何将Hadoop中生成的Luce...
2018-10-08 17:38:40
1689
转载 如何在HDFS中进行数据压缩以实现高效存储？
在上一节，我们介绍了在HDFS中组织数据的规则和方法。本节作为《Hadoop从入门到精通》专题的第四章第二节，将主要介绍如何在HDFS中进行数据压缩，有哪些可选的数据压缩方法等内容。数据压缩是一种将数据简化为更紧凑形式的机制...
2018-09-30 09:52:23
656
转载 企业使用Hadoop的重大挑战：如何在HDFS中组织和使用数据？
在上一章，我们研究了如何在MapReduce中使用不同的文件格式，以及哪些格式适合存储数据(往期文章请查看文末链接)。一旦熟练掌握了数据格式的概念和使用法则，就该思考如何在HDFS中组织数据了。在设计Hadoop系统时，企业...
2018-09-28 15:20:58
189
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人