![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 91
离线计算,实时计算
luck_man911
每个人首先都应该有自己的方向
展开
-
Flink 在唯品会的实践
唯品会自 2017 年开始基于 k8s 深入打造高性能、稳定、可靠、易用的实时计算平台,支持唯品会内部业务在平时以及大促的平稳运行。现平台支持 Flink、Spark、Storm 等主流框架。本文主要分享 Flink 的容器化实践应用以及产品化经验。内容包括:1.发展概览2.Flink 容器化实践3.Flink SQL 平台化建设4.应用案例5.未来规划一 、发展概览平台支持公司内部所有部门的实时计算应用。主要的业务包括实时大屏、推荐、实验平台、实时监控和实时数据清洗等。.转载 2021-06-22 10:11:11 · 183 阅读 · 0 评论 -
ClickHouse在字节跳动推荐和广告业务部门的最佳实践
此次分享分为三部分内容,第一部分通过讲解推荐和广告业务的两个典型案例,穿插介绍字节内部相应的改进。第二部分会介绍典型案例中未覆盖到的改进和经验。第三部分会提出目前的不足和未来的改进计划。一、早期实践1、外部事务在介绍实时场景之前,我先简单讲一下早期的离线数据是如何支持的:在第一场分享中,技术负责人陈星介绍了 ClickHouse 在字节跳动内部最早支持的两个业务场景,用户行为分析平台和敏捷 BI 平台。这两个平台的数据主要由分析师或者数仓同学产出,以 T+1 的离线指标为主。考虑到 Cl转载 2021-03-03 09:32:55 · 1043 阅读 · 0 评论 -
Presto在滴滴的探索与实践
桔妹导读:Presto在滴滴内部发展三年,已经成为滴滴内部Ad-Hoc和Hive SQL加速的首选引擎。目前服务6K+用户,每天读取2PB ~ 3PB HDFS数据,处理30万亿~35万亿条记录,为了承接业务及丰富使用场景,滴滴Presto需要解决稳定性、易用性、性能、成本等诸多问题。我们在3年多的时间里,做了大量优化和二次开发,积攒了非常丰富的经验。本文分享了滴滴对Presto引擎的改进和优化,同时也提供了大量稳定性建设经验。1、Presto简介1.1 简介Presto是Facebook.转载 2020-12-30 15:00:26 · 367 阅读 · 0 评论 -
快手大数据架构演进实录
快手大数据架构团队组建于 2017 年,短短三年间已搭建起一个万亿级规模的大数据架构体系。快手的大数据架构是怎样演进的?在春晚红包活动中遇到了哪些挑战,又是如何应对的?在 Hadoop 的应用上,快手有何经验可供业界参考?带着这些问题,InfoQ 记者采访了 QCon 北京 2020 调度系统实践专题出品人,快手高级架构师、大数据架构团队负责人赵健博。以下为采访实录。能否详细给我们介绍一下快手...转载 2020-04-20 00:32:08 · 2058 阅读 · 1 评论 -
problem making ssl connection
环境: centos 6.5,安装filebeat 71、场景:在centos 6.5的系统上安装 filebeat,使用yum方式。首先新建仓库文件,/etc/yum.repos.d路径下,新建文件elastic.repo,内容:[elastic-7.x]name=Elastic repository for 7.x packagesbaseurl=https://ar...原创 2020-04-18 18:59:55 · 1526 阅读 · 2 评论