2017年06月_言则yanze

原创 Spark未来何去何从？新主流架构带你探析企业级的应用现状

6月，汇集当今大数据界精英的Spark Summit 2017盛大召开，Spark作为当今最炙手可热的大数据技术框架，向全世界展示了最新的技术成果、生态体系及未来发展规划。巨杉作为业内领先的分布式数据库厂商，也是Spark全球的14家发行商之一，受邀在本次大会做了题为“分布式数据库+Spark架构和应用”的分享。巨杉数据库联合创始人、CTO及总架构师王涛也给大家分享了大会的见闻以及这一架构的发展和...

2017-06-30 09:44:27 1352

原创健康医疗大数据国家试点工程（福州）生态峰会昨日举行

摘要：中电数据牵头，首批4家世界500强企业领衔，联袂20余家业界知名企业组建生态联盟落地国家试点工程。6月26日，“数据风口，生态联盟”健康医疗大数据国家试点工程（福州）生态峰会在中国东南大数据产业园举行。由中国电子信息产业集团有限公司旗下中电数据服务有限公司牵头，IBM、戴尔、飞利浦、联想4家世界500强企业领衔，联袂20家业界名企在榕组队成军，宣告健康医疗大数据国家试点工程生态联盟正...

2017-06-29 13:52:35 509

原创 “生态风口生态联盟” 健康医疗大数据国家试点工程（福州）生态峰会即将在榕举行...

为践行《“健康中国2030”规划纲要》提出的从“以疾病治疗为中心”向“以促进人民健康为中心”转型的“大健康观”理念，推动《国务院办公厅关于促进和规范健康医疗大数据应用发展的指导意见》（国办发〔2016〕47号）落地，加速健康医疗大数据中心及产业园国家试点工程（福州）的建设，中电数据服务有限公司将携手福州市政府健康医疗大数据办公室、中国卫生信息学会中国健康医疗大数据产业联盟、东湖VR小镇，共同举办主...

2017-06-23 09:10:42 342

原创 Spark App自动化分析和故障诊断

陈泽，苏宁云商IT总部高级技术经理。苏宁云商大数据离线计算平台的计算方向负责人，目前主要从事Yarn，Hive，Spark，Druid等计算组件研发工作。曾就职于百度，有多年的Spark大数据方向的研发经验，精通Spark SQL，Druid等内核原理，有丰富的任务故障诊断和性能调优经验。本文系陈泽老师在CCTC 2017 Spark技术峰会上所做的分享，点击下载演讲PPT。非常...

2017-06-21 11:28:22 1431

原创知识图谱关键技术及行业应用解读

本文来自公众号PlantData知识图谱实战（ID：KGPlantData），内容整理自胡芳槐博士6月9日北理工知识图谱实战学习活动上分享的《知识图谱应用关键技术及行业应用》。今天我要分享的主题是知识图谱应用关键技术及我们在行业应用中的一些探索，其实刚刚漆老师已经给我们分享了一个非常有趣的知识图谱应用，就是佛学。那么刚刚提到的佛学考试，可能现在确实不多，但是最近大家应该能够看到，在我们的朋...

2017-06-20 15:49:36 15130

原创 HBase在滴滴出行的应用场景和最佳实践

作者简介：李扬，滴滴出行资深软件开发工程师。2015年加入滴滴出行基础平台部，主要负责HBase和Phoenix以及相关分布式存储技术。在滴滴之前，曾在新浪担任数据工程师，专注于分布式计算和存储。责编：郭芮（[email protected]），关注大数据领域。本文为《程序员》原创文章，未经允许不得转载，更多精彩文章请订阅2017年《程序员》背景对接业务类型HBase是建立在...

2017-06-19 08:59:26 10601 1

原创砥砺前行！华为构建开放共赢云生态

2017年6月9日，2017华为•宿州云产业合作高峰论坛在宿州市举行，大会以“云聚产业，数赢未来”为主题，二十多位城市管理者和行业专家与参会者分享云计算、大数据产业发展经验，展示了华为在云计算领域的战略方向、产业布局及生态建设等情况。在云计算、大数据、人工智能等新技术的推动下，未来正朝着“万物感知、万物联接和万物智能”的智能社会演进，云服务也将成为一个基本的商业模式，云计算会成为各行各业的基本能力...

2017-06-16 10:48:17 601

原创 Spark Streaming应用与实战全攻略（Ⅰ）

作者：小小默，开源爱好者，关注Hadoop/Spark、机器学习、人工智能等相关技术。更多精彩欢迎关注作者个人博客。Spark Streaming应用与实战系列包括以下六部分内容：背景与架构改造通过代码实现具体细节，并运行项目对Streaming监控的介绍以及解决实际问题对项目做压测与相关的优化Streaming持续优化之HBase管理Streaming任务本篇为第一部分，包...

2017-06-15 11:05:41 1824 1

原创云时代大数据管理引擎HAWQ++

HAWQ，取自Hadoop With Query，这是一款原生Hadoop并行SQL引擎。同时作为一款面向企业的分析型数据库HAWQ有很多优良的特性，例如它完整兼容ANSI-SQL标准语法，支持标准JDBC/ODBC连接，支持ACID事务特性，高性能，拥有比传统MPP数据库更先进的弹性执行引擎，可以秒级动态加减节点，拥有各种容错机制，支持多级资源和负载管理，提供Hadoop上PB级数据高性能交互...

2017-06-13 15:51:38 1320

原创华为携手云生态伙伴发布四大解决方案：气象云、智慧医疗云、环保云和工业物联网云...

【2017年6月9日，中国，宿州】华为在今天举办的“华为.宿州云产业合作高峰论坛”上，携手云生态伙伴发布四大联合解决方案：气象云、智慧医疗云、环保云和工业物联网云，希望与生态伙伴紧密合作，共同做大云计算大数据产业，助力城市实现跨越式发展。随着气象服务从传统防灾减灾，不断向交通、旅游、农业等领域深入发展，气象越来越成为一项惠及经济民生的重大基础服务。“互联网+”的深入应用下，气象数据采集向多源化、智...

2017-06-13 09:01:25 879

原创 2017华为云产业高峰论坛：打造“城市产业云“联盟，助力城市跨越式发展

2017年6月9日，2017华为•宿州云产业合作高峰论坛在宿州市举行，大会以“云聚产业，数赢未来”为主题，二十余个城市管理者和行业专家与参会者分享云计算、大数据产业发展经验，探讨云计算、大数据如何促进新兴产业发展，向业界展示了华为在云计算领域的战略方向、产业布局以及生态建设情况等。安徽省委常委、宣传部部长虞爱华，国家信息化专家咨询委员会常务副主任周宏仁，华为公司高级副总裁彭中阳，工信部信息化和软件...

2017-06-09 17:35:24 382

原创怎么备份和灾难复原Apache Solr

Cloudera Search（是Apache Solr和 Apache Hadoop 生态系统的集成）现在对Solr Connections支持（作为5.9版本）备份和恢复。在这篇文章中我们将讨论在Cloudera Search 内部备份的基本知识和灾难恢复能力。下一篇文章中我们将讨论Solr快照功能的设计 Hadoop生态系统的集成和公有平台（例如，亚马逊 AWS）。对于大部分组织和最终用户来...

2017-06-08 10:44:58 1425

原创比较Apache Hadoop生态系统中不同的文件格式和存储引擎的性能

这篇文章提出了在Apache Hadoop生态系统中对比一些当前流行的数据格式和可用的存储引擎的性能：Apache Avro，Apache Parquet，Apache HBase和Apache Kudu空间效率，提取性能，分析扫描以及随机数据查找等领域。这有助于理解它们中的每一个如何(何时)改善你的大数据工作负载的处理能力。引言最初把Hadoop文件格式和存储引擎做比较的想法是在初始系统修订版之...

2017-06-02 14:00:26 649

原创那些你不知道的爬虫反爬虫套路

爬虫与反爬虫，是一个很不阳光的行业。这里说的不阳光，有两个含义。第一是，这个行业是隐藏在地下的，一般很少被曝光出来。很多公司对外都不会宣称自己有爬虫团队，甚至隐瞒自己有反爬虫团队的事实。这可能是出于公司战略角度来看的，与技术无关。第二是，这个行业并不是一个很积极向上的行业。很多人在这个行业摸爬滚打了多年，积攒了大量的经验，但是悲哀的发现，这些经验很难兑换成闪光的简历。面试的时候，因为双方爬虫理念或...

2017-06-02 09:28:19 9864 4

原创基于OpenStack+Docker设计与实现CI/CD

本文所述内容的背景是，基于Docker容器技术的OpenStack研发、测试、运维及其相关的CI/CD、DevOps等活动。思想是相通的，读者可以取其可用部分用于自己的业务需求中。IaaS云和容器云不是可有可无、相互竞争的关系，而是相互弥补彼此缺陷的关系。容器改变了应用部署和管理的模式，众所周知，IaaS云通过提供基本的计算、存储和网络来运行虚拟机（VM），在IaaS（基础设施即服务）之上，还有P...

2017-06-01 11:10:27 4063

imgxr的博客