2017年08月_言则yanze

原创深入解析Spark中的RPC

作者：Neo，研究生毕业于清华大学，本科毕业于北京邮电大学，目前工作在Hulu，从事Big data相关领域的研发工作，曾经在百度Ecom和程序化广告混迹6年，从事系统研发和架构工作，关注大数据、Web后端技术、广告系统技术以及致力于编写高质量的代码。原文载于知乎，感谢作者授权转载。Spark是一个快速的、通用的分布式计算系统，而分布式的特性就意味着，必然存在节点间的通信。本文主要...

2017-08-31 09:26:39 2763 2

对于开发人员来说，工具是至关重要的。工具可以使开发人员的日常工作更加轻松、高效，因为只要关注最重要的事情即可。对于开发人员来说，想要寻找到更好的替代工具往往比坚持使用熟悉的、过时的工具要困难得多。在这篇文章中，我们将列出你可以在日常工作中使用的一些新的编程工具。对在线流媒体感兴趣的许多开发人员也已经开始在其开发环境中使用这些新工具，因为这些工具与其陈旧的设施相比具有明显的优势。你可能会想，如果旧的...

2017-08-30 16:17:45 649

原创开发者必读的十大经典书籍

编者按：人生如逆水行舟，不进则退。开发者想要保持自身的竞争力，做到所向披靡，知识储备必不可缺。这就意味着，简单的代码阅读远远不够。快速迭代的信息社会，技术前进的速度远超人类历史上的任何时期，技术攫取呈现出碎片化的特征，开发者更倾向于通过网络搜素寻求问答。然而，这种浅尝辄止的阅读方式，会给人深沉的浮躁感，难以做到为自己切实所用。新语言、新工具持续更替，让人目不暇接，学习过程中必定伴随着各种琐...

2017-08-25 15:11:55 5287 1

原创五个小技巧告诉你如何保护MySQL数据仓库

汇总各种来源的数据，可以创建一个中央仓库。通过分析和汇总业务数据报告，数据仓库能够帮助企业做出明智、战略性的决策分析。虽然数据仓库提供了许多便利，但是把这些敏感数据收集到一个单独系统，会给数据仓库带来安全问题。如果选择使用数据仓库，企业需要考虑如何更好地保护内部信息系统。任何数仓安全方面的妥协都会给入侵者或网络罪犯以可乘之机，造成销售、营销、客户信息等业务数据的毁坏泄露。今年爆发的WannaCry...

2017-08-23 17:16:20 422

原创 12个数据科学家秒懂的瞬间

所谓数据科学家就是比软件工程师更擅长统计学，比统计学家更擅长软件工程的人。–Josh Wills, Cloudera毫无疑问，数据科学是如今职场上最受追捧的技能之一。CNBC的一篇文章在综合考虑就业机会、薪水中位数、体力工作强度、工作压力等因素后，将“数据科学家”评选为2017年最受欢迎的10大职业之一。数据科学在职场中确实越来越热，数据科学家年薪的中位数超过了11万美元而且职场中对于数据科学家的...

2017-08-22 08:43:35 369

原创京东如何处理数据中心网络对应用性能的影响

随着现代数据中心规模的不断扩张，网络拓扑和路由转发变得越来越复杂。传统的数据中心使用大型机和小型机，网络规模相对较小，普通的机框式交换机就能满足网络的需求。随着CLOS集群架构的普及，标准的x86服务器集群以低成本和高扩展性逐渐取代大型机和小型机而成为数据中心的主流。下图就是一个典型的基于CLOS架构的数据中心解决方案，在这样的大规模网络中，如何让数据在传输过程中能以最快的速度从发送端到接收端，...

2017-08-18 16:15:21 455

原创 Apache Flink 技术解读之分布式运行时环境

本文基于 Apache Flink 1.3 版本官方文档翻译。任务与运算符链接在实际的分布式计算环境中，Flink 会将多个运算子任务链接到分布式计算任务中。每个线程执行一个计算任务。将运算符链接到计算任务中对于系统性能的提升有很大的帮助：它降低了线程间切换与缓冲的开销，并且在降低延时的同时减少了系统的总体吞吐量。可以对这种链接操作进行配置，具体内容请参考链接文档。如下图所示的数据流图包含...

2017-08-17 13:45:24 871

原创 GitHub万星推荐：黑客成长技术清单

最近，在reddit安全板块和Twitter上有个GitHub项目很火，叫“Awesome Hacking”。 “Awesome Hacking”在reddit上有超过四百个赞，但管理员后来认为不适合该板块（Awesome类项目没有新的内容），给了“reject”。这个项目由Twitter账号@HackwithGithub维护，混Twitter的安全爱好者应该了解，在@HackwithGithu...

2017-08-15 15:37:46 2502

原创 Apache Flink 官方文档翻译之编程模型

本文基于Apache Flink 1.3 版本官方文档翻译。抽象层次Flink 能够为流式计算或批处理应用提供多种层次的抽象接口。最低级的抽象接口是状态化的数据流接口。这个接口是通过 ProcessFunction 集成到数据流 API 中的。此类接口让用户可以使用连续的容错状态，并且可以不受限制地处理多个数据流中的事件。另外，用户也可以通过注册事件时间和时间处理回调函数的方法来实现复...

2017-08-10 09:36:51 501

原创致力技术民主化，开源新贵BigDL的进阶之路

人工智能正在改变着各行各业。英特尔资深首席工程师，大数据技术全球CTO戴金权，将就开源、大数据、深度学习等话题分享英特尔在人工智能方面所做的工作。本文会介绍英特尔在大数据分析、深度学习开源软件方面的研究，以及英特尔是如何推动AI技术民主化，让行业更方便地使用人工智能技术。英特尔资深首席工程师，大数据技术全球CTO戴金权发表主题演讲《AI民主化——开源，大数据和深度学习》近年来，Spark已经成...

2017-08-07 09:07:24 762

原创浅谈分布式消息技术：Kafka

Kafka的基本介绍Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是：日志收集系统和消息系统。Kafka主要设计目标如下：以时间复杂度为O(1)的...

2017-08-03 14:38:48 9711 3

原创快速成长期的云原生应用架构实践

在经过了最初的业务原型验证和上线运行期之后，用户业务进入了高速成长阶段。在这一阶段，业务重点不再是方向上的调整，而是在原来基础上的不断深挖、扩展；开发不仅是功能的实现，还需要兼顾成本和性能；系统不再是单体架构，还会涉及系统的扩展和多系统之间的通信；高可用也不仅是服务自动拉起或者并行扩展，还需要考虑数据可靠、对用户影响，以及服务等级协议（SLA）。本文将以上述挑战为出发点，介绍如何通过引入新的工具、...

2017-08-02 11:20:14 4344 1

imgxr的博客