自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Hadoop技术博文

大数据技术分享公众号。推送关于但不限于Spark、Hadoop、Flink、Kafka等大数据技术相关内容。

  • 博客(446)
  • 收藏
  • 关注

转载 我的一年中台实战录

作者丨何少甫编辑丨张晓楠市面上有关中台的“应景儿”文章越来越多,但是讲概念的多、有干货的少,毕竟中台虽然热,但是还缺少真刀真枪的实践。而恰恰本文作者,就是一位中台的实践者...

2019-08-21 08:15:00 411

转载 互联网人职业发展之路:三年升高工,七年做架构,十年送外卖

前段时间虎扑上有一篇热帖,叫《一年前我月薪两万被叫老总,如今35岁在美团送外卖》,讲的是一个新媒体公司从业者人到中年的人生境遇,互联网行业里一直有一种说法,叫做“互联网公...

2019-08-20 08:15:00 421

转载 爱奇艺真的有1亿付费会员?十五扒了扒用户数据告诉你更多真相

前一阵朋友圈被爱奇艺的这张海报刷屏了还有铺天盖地的新闻稿,口径也高度一致:爱奇艺会员数量突破1亿,中国视频付费市场正式进入“亿级”会员时代同时找来爱奇艺最近的2019Q1...

2019-08-20 08:15:00 17059

转载 如何用python绘制一系列三维的逗比风格表情包

表情包是当代社交生态中的战略性武器,既托起了友情的小船,又浮起了爱情的巨轮,还载起了亲情的航空母舰。在一个又一个宁静又不乏躁动的夜晚,此起彼伏的“老铁666”、“顶你上去...

2019-08-20 08:15:00 259

转载 推荐几个朋友的公众号

今天强烈推荐一些互联网行业内优质技术公众号,互联网人大部分都关注了,在工作、生活节奏超快的今天,想要不断提升自我,利用碎片化阅读学习是你最佳选择,这些号在行业里深耕已久,...

2019-08-20 08:15:00 444

转载 Kafka 基础面试知识都在这,你都知道嘛?

本文从Kafka的基本概念、特点、部署和配置、监控和管理等方面阐述 Kafka 的实践过程。背景最近要把原来做的那套集中式日志监控系统进行迁移,原来的实现方案是: Log...

2019-08-19 08:19:45 191

转载 MongoDB 4.2 发布,支持分布式事务

MongoDB 4.2 稳定版于近日正式发布了,此版本带来了许多最大的特性,比如分布式事务(Distributed Transactions)、客户端字段级别加密(Cli...

2019-08-19 08:19:45 2100

转载 如何一句话证明:你在百度阿里腾讯京东新浪…等大厂待过?

据说每个互联网公司都有一些独特的“话术”比如当听到一个互联网人张口闭口“价值观”你就知道他一定是___厂的了(请填空)今天,我们就给大家总结了一下“如何用一句话证明自己是...

2019-08-19 08:19:45 381

转载 华为发布会: 牛逼鸿蒙,吹水的大会

前天,华为举行了一场盛大的发布会,会议开头介绍了华为在消费者市场所取得的成绩,说实话,看了还挺震撼的,华为确实是一家很厉害的商业公司。后面就开始介绍鸿蒙 OS 了。我研究...

2019-08-18 11:11:16 71

转载 慌的一批!妹子一个rm -rf把公司服务器数据删没了..

“经历了两天不懈努力,终于恢复了一次误操作删除的生产服务器数据。对本次事故过程和解决办法记录在此,警醒自己,也提示别人莫犯此错。也希望遇到问题的朋友能找到一丝灵感解决问题...

2019-08-17 08:03:00 62

转载 大佬用人:李彦宏最小气,马化腾次之,马云气度最大

1李彦宏上央视的《遇见大咖》节目时,有这么一段:在员工座谈上,李彦宏说:“重复的去做一些事情为了显示自己的技术能力,这也是我非常痛恨的一件事情。今年的最高奖有一个项目...

2019-08-17 08:03:00 90

转载 百度一下,你就知乎

0这两天互联网最大的事,无疑是快手领投了知乎的4.5亿美金F轮融资,百度跟投。作为知乎最早一批用户(超过6年),也是知乎top50的创作者(财经和科技领域的top3),我...

2019-08-16 08:22:13 373

原创 一文理解 Apache Spark DataSource V2 诞生背景及入门实战

五年总结:过往记忆大数据原创精选,欢迎收藏转发。Data Source API 定义如何从存储系统进行读写的相关 API 接口,比如 Hadoop 的 InputForm...

2019-08-15 08:19:02 1240

原创 五年总结:过往记忆大数据原创精选

今年是我创建这个微信公众号的第五年,五年来,收获了6.8万粉丝。这个数字,在自媒体圈子,属于十八线小规模的那种,但是在纯技术圈,还是不错的成绩,我很欣慰。我花在这个号上面...

2019-08-13 17:23:14 626

转载 自学Python,转行数据分析,Python省下来的时间是你年薪40w的第一步

现在的职场竞争越来越激烈,不学上一两门新技能,保持自己知识更新,很容易被年轻后辈超越。有些人选择学一门外语,有些人选择学习职场上为人处事的能力。如果你的工作需要和数据打交...

2019-08-12 08:16:00 318

原创 Spark & Alluxio在网易严选架构演进中的实践和探索

本文来自于2019年7月27日网易严选 & Alluxio 联合举办的 Meetup。本文分享作者左琴,2013年硕士毕业于浙江大学控制系,先后在网易、阿里巴巴...

2019-08-12 08:16:00 459

转载 推荐这几个阿里、抖音、快手超级牛逼的技术大佬的公众号!

为大家推荐几个阿里、抖音、快手超级牛人的公众号:人工智能爱好者社区专注人工智能、机器学习、深度学习等顶尖技术前沿科技成果研究、实战技巧。每周会有书豪采访记系列采访技术大佬...

2019-08-09 08:22:00 3757

转载 ES 干货| Elasticsearch 7.x Nested 嵌套类型查询

一、什么是 ES Nested 嵌套Elasticsearch 有很多数据类型,大致如下:基本数据类型:string 类型。ES 7.x 中,string 类型会升级为:...

2019-08-09 08:22:00 2734

转载 云计算的未来:Serverless 在大厂如何落地

会议简介Serverless 被认为是云计算的未来,有诸多优点,作为云计算技术中重点培养对象,除去可减少开发运维成本、快速部署上线、可自动扩展的优点,Serverless...

2019-08-08 08:30:00 511

转载 Kafka是靠什么机制保持高可靠,高可用的?

面试大厂时,一旦简历上写了Kafka,几乎必然会被问到一个问题:说说acks参数对消息持久化的影响?这个acks参数在kafka的使用中,是非常核心以及关键的一个参数,决...

2019-08-08 08:30:00 176

转载 Kafka 参数调优实战,看这篇文章就够了!

1、背景引入:很多同学看不懂kafka参数今天给大家聊一个很有意思的话题,大家知道很多公司都会基于Kafka作为MQ来开发一些复杂的大型系统。而在使用Kafka的客户端编...

2019-08-07 08:15:25 131

转载 重磅 | HPE 宣布收购 MapR!

美国当地时间2019年8月5日,惠普企业(Hewlett Packard Enterprises,纽约证券交易所股票代码:HPE)宣布收购 MapR Technologi...

2019-08-07 08:15:25 374

转载 HBase 客户端避坑指南

1.RPC重试配置要点在HBase客户端到服务端的通信过程中,可能会碰到各种各样的异常。例如有几种常见导致重试的异常:●待访问Region所在的RegionServer...

2019-08-06 08:13:32 604

转载 Flink 和 Prometheus:流式应用程序的云原生监控

翻译:陆离校对:杨乾坤(欧文)本文描述了程序开发人员如何使用 Apache Flink 内置的 Metrics 系统和Prometheus结合的方式,有效的观测和监控流式...

2019-08-06 08:13:32 1858

转载 Kafka是如何处理Netflix每天2万亿条消息的?

“从产生伊始,各类微服务就需要以不同的方式进行彼此通信。有些人喜欢使用 HTTP REST APIs,但是他们可能会碰到自身的队列问题;有些人则倾向使用诸如 Rabbit...

2019-08-04 11:52:25 145

转载 Elasticsearch调优实践

背景Elasticsearch(ES)作为NOSQL+搜索引擎的有机结合体,不仅有近实时的查询能力,还具有强大的聚合分析能力。因此在全文检索、日志分析、监控系统、数据...

2019-08-03 08:22:00 272

转载 让Elasticsearch飞起来!百亿级实时查询优化实战

“最近的一个项目是风控过程数据实时统计分析和聚合的一个 OLAP 分析监控平台,日流量峰值在 10 到 12 亿上下,每年数据约 4000 亿条,占用空间大概 200T。...

2019-08-02 08:13:00 253

转载 网易云音乐的消息队列改造之路

十年文案老司机,不如网易评论区。网易云音乐自2013年上线后,业务保持了高速增长。云音乐除了提供好听的音乐外,还留下了我们在乐和人上的美好回忆。本文整理自网易云音乐消息队...

2019-08-01 08:15:00 186

转载 送你40本书,你搞不搞?

引言好一阵子没给大伙儿送书了,还想念我,的书吗?这一次,「Hadoop技术博文」、「高级农名工」、「Python专栏」「不才黄某」、与「接地气学堂」五个公众号联合送书,一...

2019-07-31 08:03:00 715

转载 漫谈HBase Filter

1初衷对数据库来说,满足业务多样化的查询方式非常重要。如果说有人设计了一个KV数据库,只提供了Get/Put/Scan这三种接口,估计要被用户吐槽到死,毕竟现实的业务场景...

2019-07-30 08:00:00 190

转载 推荐几个BAT人的公众号

关注了几百个公众号无目的地看文章却如鸡肋一般食之无味弃之可惜你是否觉得时间被浪费了生命被辜负了?喜欢的东西好好使用,不必要的东西早日剔除。删除些无价值的公众号,在号的数量...

2019-07-27 09:00:00 261

原创 Apache Hadoop 的 HDFS federation 前世今生

背景熟悉大数据的人应该都知道,HDFS 是一个分布式文件系统,它是基于谷歌的 GFS 思路实现的开源系统,它的设计目的就是提供一个高度容错性和高吞吐量的海量数据存储解决方...

2019-07-26 08:21:20 340

转载 Kylin 在满帮集团千亿级用户访问行为分析中的应用

2019 年 7 月 12 日,国内首届以 Apache Kylin 为主题的大数据领域的前沿盛会 Kylin Data Summit 在上海落幕。在本次大会的制造业分论...

2019-07-25 08:11:00 109

转载 这些公众号都是个人账号,为啥却一定要关注?

关注了几百个公众号无目的地看文章却如鸡肋一般食之无味弃之可惜你是否觉得时间被浪费了生命被辜负了?喜欢的东西好好使用,不必要的东西早日剔除。删除些无价值的公众号,在号的数量...

2019-07-25 08:11:00 226

转载 终于有人把elasticsearch原理讲通了!

小史是一个非科班的程序员,虽然学的是电子专业,但是通过自己的努力成功通过了面试,现在要开始迎接新生活了。随着央视诗词大会的热播,小史开始对诗词感兴趣,最喜欢的就是飞花令的...

2019-07-24 09:04:36 441

转载 Python,Power BI,excel,商业数据分析技能详解

【文末领取免费福利】4月17日,有消息称亚马逊将于本周宣布退出中国,具体的时间待定。此后,亚马逊在中国仅保留两项业务,一是Kindle;二是跨境贸易,主营业务电商将全部退...

2019-07-23 08:31:00 2667 1

转载 滴滴Elasticsearch多集群架构实践

Elasticsearch 是基于 Lucene 实现的分布式搜索引擎,提供了海量数据实时检索和分析能力。Elastic 公司开源的一系列产品组成的 El...

2019-07-23 08:31:00 272

转载 日均处理万亿数据!Flink在快手的应用实践与技术演进之路

作者 | 董亭亭 整理 | 蒋晓峰 编辑 | Natalie AI 前线导读: 作为短视频分享跟直播的平台,快手有诸多业务场景应用了 F...

2019-07-22 08:22:00 439

转载 推荐一位大佬,在腾讯工作十年

今天给大家推荐一个技术大牛:大飞。微信早期员工,腾讯高级工程师,技术leader。他高中开始接触编程,大学校招实习生进入腾讯,在腾讯工作十年,算是微信部门的资深架构师。做...

2019-07-22 08:22:00 239

转载 Elasticsearch SQL用法详解

本文详细介绍了不同版本中Elasticsearch SQL的使用方法,总结了实际中常用的方法和操作,并给出了几个具体例子。一、5.x中ES-SQL用法Elasticsea...

2019-07-21 08:54:45 295

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除