深入解析Spark中的RPC

作者:Neo,研究生毕业于清华大学,本科毕业于北京邮电大学,目前工作在Hulu,从事Big data相关领域的研发工作,曾经在百度Ecom和程序化广告混迹6年,从事系统研发和架构工作,关注大数据、Web后端技术、广告系统技术以及致力于编写高质量的代码。 原文载于知乎,感谢作者授权转载。...

2017-08-31 09:26:39

阅读数:567

评论数:0

工具推荐|程序员必须知道的11款新型编程工具

对于开发人员来说,工具是至关重要的。工具可以使开发人员的日常工作更加轻松、高效,因为只要关注最重要的事情即可。对于开发人员来说,想要寻找到更好的替代工具往往比坚持使用熟悉的、过时的工具要困难得多。在这篇文章中,我们将列出你可以在日常工作中使用的一些新的编程工具。对在线流媒体感兴趣的许多开发人员也已...

2017-08-30 16:17:45

阅读数:104

评论数:0

开发者必读的十大经典书籍

编者按:人生如逆水行舟,不进则退。开发者想要保持自身的竞争力,做到所向披靡,知识储备必不可缺。这就意味着,简单的代码阅读远远不够。 快速迭代的信息社会,技术前进的速度远超人类历史上的任何时期,技术攫取呈现出碎片化的特征,开发者更倾向于通过网络搜素寻求问答。然而,这种浅尝辄止的阅读方式,会给人...

2017-08-25 15:11:55

阅读数:906

评论数:0

五个小技巧告诉你如何保护MySQL数据仓库

汇总各种来源的数据,可以创建一个中央仓库。通过分析和汇总业务数据报告,数据仓库能够帮助企业做出明智、战略性的决策分析。虽然数据仓库提供了许多便利,但是把这些敏感数据收集到一个单独系统,会给数据仓库带来安全问题。如果选择使用数据仓库,企业需要考虑如何更好地保护内部信息系统。任何数仓安全方面的妥协都会...

2017-08-23 17:16:20

阅读数:33

评论数:0

12个数据科学家秒懂的瞬间

所谓数据科学家就是比软件工程师更擅长统计学,比统计学家更擅长软件工程的人。–Josh Wills, Cloudera毫无疑问,数据科学是如今职场上最受追捧的技能之一。CNBC的一篇文章在综合考虑就业机会、薪水中位数、体力工作强度、工作压力等因素后,将“数据科学家”评选为2017年最受欢迎的10大职...

2017-08-22 08:43:35

阅读数:62

评论数:0

京东如何处理数据中心网络对应用性能的影响

​随着现代数据中心规模的不断扩张,网络拓扑和路由转发变得越来越复杂。传统的数据中心使用大型机和小型机,网络规模相对较小,普通的机框式交换机就能满足网络的需求。随着CLOS集群架构的普及,标准的x86服务器集群以低成本和高扩展性逐渐取代大型机和小型机而成为数据中心的主流。下图就是一个典型的基于CLO...

2017-08-18 16:15:21

阅读数:17

评论数:0

Apache Flink 技术解读之分布式运行时环境

本文基于 Apache Flink 1.3 版本官方文档翻译。 任务与运算符链接在实际的分布式计算环境中,Flink 会将多个运算子任务链接到分布式计算任务中。每个线程执行一个计算任务。将运算符链接到计算任务中对于系统性能的提升有很大的帮助:它降低了线程间切换与缓冲的开销,并且在降低延时的同...

2017-08-17 13:45:24

阅读数:137

评论数:0

GitHub万星推荐:黑客成长技术清单

最近,在reddit安全板块和Twitter上有个GitHub项目很火,叫“Awesome Hacking”。 “Awesome Hacking”在reddit上有超过四百个赞,但管理员后来认为不适合该板块(Awesome类项目没有新的内容),给了“reject”。这个项目由Twitter账号@...

2017-08-15 15:37:46

阅读数:207

评论数:0

Apache Flink 官方文档翻译之编程模型

本文基于Apache Flink 1.3 版本官方文档翻译。 抽象层次Flink 能够为流式计算或批处理应用提供多种层次的抽象接口。 最低级的抽象接口是状态化的数据流接口。这个接口是通过 ProcessFunction 集成到 数据流 API 中的。此类接口让用户可以使用连续的容错状态,并且...

2017-08-10 09:36:51

阅读数:69

评论数:0

致力技术民主化,开源新贵BigDL的进阶之路

人工智能正在改变着各行各业。英特尔资深首席工程师,大数据技术全球CTO戴金权,将就开源、大数据、深度学习等话题分享英特尔在人工智能方面所做的工作。本文会介绍英特尔在大数据分析、深度学习开源软件方面的研究,以及英特尔是如何推动AI技术民主化,让行业更方便地使用人工智能技术。 英特尔资深首席工程师,...

2017-08-07 09:07:24

阅读数:147

评论数:0

浅谈分布式消息技术:Kafka

Kafka的基本介绍Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开...

2017-08-03 14:38:48

阅读数:5269

评论数:2

快速成长期的云原生应用架构实践

在经过了最初的业务原型验证和上线运行期之后,用户业务进入了高速成长阶段。在这一阶段,业务重点不再是方向上的调整,而是在原来基础上的不断深挖、扩展;开发不仅是功能的实现,还需要兼顾成本和性能;系统不再是单体架构,还会涉及系统的扩展和多系统之间的通信;高可用也不仅是服务自动拉起或者并行扩展,还需要考虑...

2017-08-02 11:20:14

阅读数:244

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭