
大数据
软件供应链安全
这个作者很懒,什么都没留下…
展开
-
如何基于 Spark Streaming 构建实时计算平台
GitChat 作者:潘国庆 关注微信公众号:「GitChat 技术杂谈」 一本正经的讲技术随着互联网技术的迅速发展,用户对于数据处理的时效性、准确性与稳定性要求越来越高,如何构建一个稳定易用并提供齐备的监控与预警功能的实时计算平台也成了很多公司一个很大的挑战。自2015年携程实时计算平台搭建以来原创 2017-09-25 17:12:55 · 2920 阅读 · 1 评论 -
Elasticsearch 分片管理解析
一个 shard 本质上就是一个 Lucene 索引,也是 Elasticsearch 分布式化 Lucene 的关键抽象,是 Elasticsearch 管理 Lucene 文件的最小单位。所以,Elasticsearch 提供了大量的接口,可以对集群内的 shard 进行管理。一个 shard 本质上就是一个 Lucene 索引,也是 Elasticsearch 分布式化 Lucene 的关键抽象,是 Elasticsearch 管理 Lucene 文件的最小单位。Elasticsearch 面试题原创 2019-06-12 11:25:09 · 2437 阅读 · 0 评论 -
高可用 Elasticsearch 集群的分片设计解析
Elasticsearch 的一个分片对应 Lucene 的一个索引,Elasticsearch 的核心就是将这些 Lucene 索引分布式化,提供索引和检索服务。可见,如何设计分片是至关重要的。原创 2019-06-12 14:58:36 · 618 阅读 · 0 评论 -
Python 数据分析师面试转型入门都需要的一份指南
“做程序员太辛苦了,我想换行……我该怎么办?”“敲一下回车。”后台一直有人催我们,上新一些 Python 偏人工智能方向的技术文章我周围一个学医的朋友更是让我给她推荐可以 0 基础入门的数据分析教程为了还这份欠下的“债“我只能厚着脸皮去找某东的算法工程师Z先生专门为有需求的你们写一篇入门文章每天 996 后还被我如此折磨的催稿子最终给...转载 2019-04-23 21:00:00 · 732 阅读 · 0 评论 -
推荐系统正成为所有领域的一种标配
作者:黄崇远,毕业于哈工大,6 年多大数据以及互联网从业经验。目前为 SEE 小电铺大数据主管,负责公司整个数据团队建设以及数据服务体系搭建。 大数据原创公号『数据虫巢』(ID:blogchong),在大数据架构、大数据应用挖掘、数据产品化以及大数据团队建设等方面有一定的积累。炙手可热的算法工程师近段时间团队在扩建算法小组,首当其冲的岗位就是推荐算法工程师,然而历经一、两...原创 2018-08-13 11:54:54 · 3842 阅读 · 2 评论 -
GitChat·大数据 | 史上最详细的Hadoop环境搭建
GitChat 作者:鸣宇淳 Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术道路上走多远。这是一篇入门文章,Hadoop的学习方法很多,网上也有很多学习路线图。原创 2017-09-05 11:24:44 · 41380 阅读 · 16 评论 -
当我说要做大数据工程师时他们都笑我,直到三个月后……
GitChat 作者:Fickr孫啟誠原创 2017-10-25 14:52:16 · 132665 阅读 · 187 评论 -
如何基于 Spark Streaming 构建实时计算平台
GitChat 作者:潘国庆 前言随着互联网技术的迅速发展,用户对于数据处理的时效性、准确性与稳定性要求越来越高,如何构建一个稳定易用并提供齐备的监控与预警功能的实时计算平台也成了很多公司一个很大的挑战。自2015年携程实时计算平台搭建以来原创 2017-09-21 11:49:16 · 6078 阅读 · 2 评论 -
GitChat · 大数据 | 一步一步学习大数据:Hadoop 生态系统与场景
GitChat 作者:Lee 关注公众号:GitChat 技术杂谈,一本正经的讲技术Hadoop概要到底是业务推动了技术的发展,还是技术推动了业务的发展,这个话题放在什么时候都会惹来一些争议。随着互联网以及物联网的蓬勃发展,我们进入了大数据时代。IDC预测,到2020年,全球会有44ZB的数据量。传统存储和技术架构无法满足需求。原创 2017-09-11 12:10:10 · 2020 阅读 · 1 评论 -
SQL 优化必懂知识点
介绍了 SQL 优化的基础知识及初学者切实需要掌握的基本内容。本 Chat 可以帮助初学者快速入门,为后续做 SQL 优化铺垫。不局限于特定数据库。本文首先会带领大家聊聊 SQL 优化基础必备的知识点。包含SQL面试高频难道原创 2019-07-04 13:12:44 · 577 阅读 · 0 评论