大数据
博文视点
IT出版旗舰品牌,由电子工业出版社计算机分社以专业化力量打造。以开发IT类图书选题为主业,散播专业知识,善待作者,尊重读者,诚邀天下技术精英加盟。
展开
-
算法与数据中台:网约车业务实践
在O2O 模式下,网约车平台成为其中最为经典的案例,无论是美国的 Uber 还是国内的滴滴都已经发展成为社会的基础设施。网约车平台的使用界面从这两大巨头的发展史来看,尽管前期它们都是利用补贴大战来完成对市场的占领的,但是随后它们也都专注于更为精细的运营和服务,以便满足乘客、司机和平台这三方的利益诉求。为了实现这些目标,Uber 和滴滴等网约车平台都聚焦于技术的深耕和创新,它们的成功实践经验表明技术是业务发展的强大驱动力。业务和产品的快速迭代需要依靠优良的系统架构,而算法与数据中台在整体架构中又发挥了原创 2020-09-15 17:52:21 · 2434 阅读 · 0 评论 -
数据分析 | 将业务问题转换为统计问题后,我看到了数字的真相
统计分析犹如一枚硬币,有正面,也有反面。正面看起来像数学,有公式,有方程式,而另一面则是业务,看起来相对比较简单。其实两面失去任何一面都不能称其为统计,业务分析也是统计分析的重要组成部分。那么,业务分析为什么重要?它究竟有哪些值得我们探寻的点?我们又该如何把业务问题转换为统计问题呢?脱离业务的数据分析就是空中楼阁回溯统计的发展历程,从小数据到大数据的分析思路均源于验证性数据分析,因此,业务需...原创 2020-03-10 18:33:35 · 1577 阅读 · 0 评论 -
炎热天气看书还是钓鱼?隐马尔科夫模型教你预测!
隐马尔科夫模型(Hide Markov Model)是一种概率统计模型,非常适合用于有未知条件的问题。气候变化万千,我们的行动也会因天气不同而改变,那么在不清楚天气状况的情况下,如何预测未来几天我们的行动呢? 本文选自《大数据时代的算法:机器学习、人工智能及其典型实例》。原创 2017-02-16 14:09:28 · 2626 阅读 · 2 评论 -
Spark的那些外部框架
Spark社区提供了大量的框架和库。其规模及数量都还在不断增加。本文我们将介绍不包含在Spark核心源代码库的各种外部框架。Spark试图解决的问题涵盖的面很广,跨越了很多不同领域,使用这些框架能帮助降低初始开发成本,充分利用开发人员已有的知识。 本文选自《Spark:大数据集群计算的生产实践》。原创 2017-06-15 09:22:42 · 2296 阅读 · 0 评论 -
7月最强书单丨博文视点新品畅销TOP10,让技术带你燃爆整个7月
2018年的夏天时间飞速流转,马上我们就要告别持续high了一个多月的世界杯,之后空虚寂寞的闲暇时光要如何度过?今天小编就帮你介绍10本畅销新书,包含AI、架构、安全、测试、技术管理、移动开发、数据分析诸多方面。用技术做助攻,让你在球(职)场如鱼得水,弹无虚发。TOP1《码农翻身》刘欣 著书中把计算机元素和行为用拟人手法编成一个个精彩纷呈的故事,绘声绘色且深入浅出地演绎晦涩枯燥的编程知识。编程初学...原创 2018-07-16 13:47:57 · 746 阅读 · 0 评论 -
大数据平台的建设目标
它山之石,可以攻玉——要谈大数据平台的建设目标,首先要知道业界先进的实践经验,了解别人的数据平台是怎样的,然后才能结合自己公司的实际情况设定合适的目标和方向。1 别人的大数据平台是怎样的那么,别人的大数据平台是怎样的呢?如果参加过一些大大小小的技术分享论坛或会议,你应该不难发现,在各种各样新的诸如“×××公司大数据平台实践无敌干货分享”之类的PPT中,谈到大数据平台的技术组件时,多半都...原创 2018-08-06 11:43:43 · 5675 阅读 · 0 评论 -
大数据分布式计算组件:Hadoop丨Storm丨Spark
“工欲善其事,必先利其器”,具有特定功能的可复用组件正是计算机领域中的利器。在大数据的浪潮下,许多用于处理大数据的组件应运而生,分别应用在“数据传输”“数据存储”“数据计算”以及“数据展示”的环节中。本文将介绍“数据计算”环节中常用的三种分布式计算组件——Hadoop、Storm以及Spark。当前的高性能PC机、中型机等机器在处理海量数据时,其计算能力、内存容量等指标都远远无法达到要...原创 2018-08-03 11:00:00 · 2259 阅读 · 1 评论 -
如何成为一名糟糕的大数据平台工程师
要想成为一名优秀的大数据平台开发工程师,只要做到深度与广度并重,钻研技术、理解产品、能搭架构、能解Bug,那就妥妥的了。优秀的人都是类似的,说起来就太过无聊了。所以,本文换一个角度,聊聊如何做到不那么优秀,要想成为一名糟糕的开发工程师都需要有哪些表现。本文选自《大数据平台基础架构指南》一书,原文篇幅较长摘取时有部分删改。 我是小白我怕谁要想成为一名糟糕的大数据平台开发工程师,首...原创 2018-10-16 09:29:31 · 12926 阅读 · 32 评论