自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Hadoop技术博文

大数据技术分享公众号。推送关于但不限于Spark、Hadoop、Flink、Kafka等大数据技术相关内容。

  • 博客(446)
  • 收藏
  • 关注

转载 fastjson爆出重大漏洞,攻击者可使整个业务瘫痪

报告编号:B6-2019-090501报告来源:360-CERT报告作者:360-CERT更新日期:2019-09-050x00 漏洞背景2019年9月5日,360CER...

2019-09-08 22:00:00 6134

转载 互联网人口头禅大全

据我观察,我们公司里很多人都有口头禅——比如隔壁组的开发大哥,面对产品最爱说的是“我去!”后来经过大家的友善提醒和他自己的认真反思,改成了“阿西吧!”比如新来的实习生小朋...

2019-09-08 22:00:00 518

转载 我经常看的技术公众号

不少同学担忧的情况——“晋升无望、收入见顶、生活开支飙升、财务危机如影随形”,小编精心挑选了几个优质原创技术号,推荐给大家化解成长的烦恼。他们都是我平时关注的优秀号主,分...

2019-09-07 08:15:00 139

原创 2019年互联网公司月饼哪家强?阿里、百度、网易等14家中秋月饼盘点

一年一度的中秋节日马上到来,"八月十五月儿圆,中秋月饼香又甜",没有月饼的中秋节是不完整的。而在互联网公司,月饼已然成为福利和文化的象征。特别是一些互联网大厂,在月饼设计...

2019-09-06 08:05:00 164

转载 Sql Or NoSql,看完这一篇你就都懂了

前言你是否在为系统的数据库来一波大流量就几乎打满CPU,日常CPU居高不下烦恼?你是否在各种NoSql间纠结不定,到底该选用那种最好?今天的你就是昨天的我,这也是写这篇文...

2019-09-06 08:05:00 125

转载 雅虎日本如何用 Pulsar 构建日均千亿的消息平台

雅虎日本是一家雅虎和软银合资的日本互联网公司,是日本最受欢迎的门户网站之一。雅虎日本的互联网服务在日本市场占主导地位。挑战运营规模巨大对雅虎日本来说是个挑战。高性能和可扩...

2019-09-05 08:26:00 388

转载 3年从200个数据用户发展到6000人,eBay的大数据平台是如何做到的?

在 7 月首届 Kylin Data Summit 上,大会特别邀请到了eBay 全球研发副总裁、中国研发中心总经理田卫女士带来主旨演讲。eBay,这家在国内非常低调的老...

2019-09-05 08:26:00 558

转载 技术公众号里面的笑傲江湖

不少同学担忧的情况——“晋升无望、收入见顶、生活开支飙升、财务危机如影随形”,小编精心挑选了几个优质原创技术号,推荐给大家化解成长的烦恼。他们都是我平时关注的优秀号主,分...

2019-09-03 08:15:00 238

转载 一篇文章了解 Kafka 幂等性的原理及实践

01 幂等性如此重要Kafka作为分布式MQ,大量用于分布式系统中,如消息推送系统、业务平台系统(如结算平台),就拿结算来说,业务方作为上游把数据打到结算平台,如果一份数...

2019-09-03 08:15:00 494

转载 作为一名11年的大数据架构师,没有我搞不定的需求~

大家好我是Brave,前金蝶(中国)软件JAVA架构师,因为觉得没挑战转了大数据,目前在一家科技企业工作,做产品架构和大数据架构,主要项目是交通大数据,业余时间爱好是考证...

2019-09-02 08:16:00 351

转载 推荐几个原创高质量技术公众号

今天强烈推荐一些互联网行业内优质技术公众号,互联网人大部分都关注了,在工作、生活节奏超快的今天,想要不断提升自我,利用碎片化阅读学习是你最佳选择,这些号在行业里深耕已久,...

2019-09-01 20:18:25 608 2

转载 看完这篇还不会kafka,我跪榴莲!

图片来自unsplash导读:Kafka 是一个分布式消息队列,具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息,消费者从队列里取消息进行业务逻辑。一般...

2019-09-01 20:18:25 8981 1

转载 当初脑子进了水,偏偏要做互联网…

都说互联网是时代的浪潮,能改变世界什么的……自从我加入了互联网公司工作后,人生真的发生了很多,意料之外的改变……比如——做互联网后,我总能率先感觉到天气的变化做互联网后,...

2019-09-01 20:18:25 8680 3

转载 如何在 Kylin 中优雅地使用 Spark

前言Kylin 用户在使用 Spark的过程中,经常会遇到任务提交缓慢、构建节点不稳定的问题。为了更方便地向 Spark 提交、管理和监控任务,有些用户会使用 Livy ...

2019-08-31 11:13:53 681

转载 一位 70 后程序员的 26 个职场感悟

编者按:年龄是一个永恒的话题,不论是演员、运动员,或是身边的程序员。岁月带来了经验上的积累和虑事的周全,但也带走了年轻时候的体力和冲劲。技术变化太快,大龄程序员对新技术的...

2019-08-31 11:13:53 854 1

转载 微视狂砸千万补贴,却惨遭微信封杀,亲兄弟明算账

少年想少奋斗 20 年吗?阿姨可以帮你实现。随着朋友圈和微信群充斥着各种微视推广链接的段子,我知道腾讯的“亲儿子”又开始大力推广,狂砸千万补贴,等你来薅。微视狂砸千万补贴...

2019-08-30 08:13:00 863 1

转载 稳定性专题 | StackOverFlowError 常见原因及解决方法

每一个 JVM 线程都拥有一个私有的 JVM 线程栈,用于存放当前线程的 JVM 栈帧(包括被调用函数的参数、局部变量和返回地址等)。如果某个线程的线程栈空间被耗尽,没有...

2019-08-30 08:13:00 442

转载 400+节点的Elasticsearch集群运维

作者:Anton Hägerstrand图片来自unsplashMeltwater每天要处理数百万量级的帖子数据,因此需要一种能处理该量级数据的存储和检索技术。从0.11...

2019-08-29 08:13:00 240

转载 说出来可能不信,现在酒厂都在招算法工程师

By 超神经场景描述:虽然夏日已过,但人们喝啤酒的热情还在持续高涨。不过随着大众的追求和理念提升,对于啤酒的要求也越来越高,比如逐渐兴起的精酿之风,都在印证人们在啤酒的口...

2019-08-29 08:13:00 353

转载 流系统Spark/Flink/Kafka/DataFlow端到端一致性实现对比

图片来自unsplash长文预警, 全文两万五千多字, 37页word文档的长度(略有杂乱,有些非常复杂的地方可能需要更多的例子来说明,使得初学者也能很容易看懂,但是实在...

2019-08-28 08:14:00 596

转载 普通互联网公司 vs 文艺互联网公司 vs 二逼互联网公司

这些年,随着互联网行业的快速发展,很多大大小小的互联网公司涌现了出来。这些公司里,有的发展了很多年,规章制度已经很成熟了,简称普通公司,有的虽然不太成熟,但是却心怀梦想和...

2019-08-28 08:14:00 347

转载 闲鱼亿级商品库中的秒级实时选品

业务背景在电商运营工作中,营销活动是非常重要的部分,对用户增长和GMV都有很大帮助。对电商运营来说,如何从庞大的商品库中筛选出卖家优质商品并推送给有需要的买家购买是每时每...

2019-08-27 08:13:00 476

转载 为什么抖音网红城市都在西部?

我们发现,西部城市正在霸占大众视野。抖音是主要平台之一。根据抖音在《2018短视频与城市形象研究白皮书》中公布的数据,重庆、西安和成都是城市形象短视频播放量最高的三个城...

2019-08-27 08:13:00 443

转载 今天,我要全网曝光这几个公众号!

关注了几百个公众号,无目的地看文章,却如鸡肋一般。食之无味弃之可惜。你是否觉得时间被浪费了,生命被辜负了?喜欢的东西好好使用,不必要的东西早日剔除。删除些无价值的公众号,...

2019-08-26 08:15:00 412

转载 全文搜索引擎 ElasticSearch 还是 Solr?

图片来自Pexels最近项目组安排了一个任务,项目中用到了全文搜索,基于全文搜索 Solr,但是该 Solr 搜索云项目不稳定,经常查询不出来数据,需要手动全量同步,而且...

2019-08-26 08:15:00 394

转载 字节跳动的敌人只有时间

1字节跳动收购了互动百科,在做搜索的的道路上又进了一大步,也是不得不走的一步。头条正在和百度开战,Bytedance 对 Baidu,谁赢了,谁就是BAT中的B。谁输了...

2019-08-26 08:15:00 369 1

转载 Elasticsearch解决问题之道——请亮出你的DSL!

图片来自Pexels引言在业务开发中,我们往往会陷入开发的细枝末节之中,而忽略了事物的本源。经常有同学问到:1, 业务代码实现结果和kibana验证不一致。比如:我的py...

2019-08-25 21:50:00 326

转载 看完这篇还不会 Elasticsearch,我跪搓衣板!

图片来自Pexels希望通过这篇文章能让读者大致了解Elasticsearch是做什么的以及它的使用和基本原理。生活中的数据搜索引擎是对数据的检索,所以我们先从生活中的数...

2019-08-24 08:15:00 440 1

转载 推荐 | 一位自学机器学习斩获大厂offer的技术牛人

微信公众号推荐小小挖掘机今天给大家推荐一个微信公众号「小小挖掘机」,是一个以Python、机器学习、推荐算法、强化学习为主题的个人技术学习与进阶公众号。内容适合以下群体:...

2019-08-24 08:15:00 303

转载 年轻貌美的小姐姐加我微信后竟要求我帮她做这种事...

图片来自Pexels我们聊一个故事:你是否接受过“年轻美丽小姐姐头像的好友申请后”聊天发现对方加错人了呢?对方并不介意加错人,加错也没立刻拉黑你,而是将你保留在她的好友位...

2019-08-24 08:15:00 2507

原创 深入理解 Apache Spark Delta Lake 的事务日志

Delta Lake 是今年数砖在 Spark+AI Summit 2019 会议上开源的项目,详见【重磅 | Apache Spark 社区期待的 Delta Lake...

2019-08-23 08:15:00 866

转载 你必须收藏的 GitHub 技巧

一秒钟把Github项目变成前端网站GitHub Pages大家可能都知道,常用的做法,是建立一个gh-pages的分支,通过setting里的设置的GitHub Pag...

2019-08-23 08:15:00 753

转载 摸鱼,是员工给公司的福报

前些天,脉脉上有一条员工的爆料消息。在一个公司群里,员工因为中午午休,被在群里集体发通知批评。从群聊天可以看出,领导非常生气,@了全员,并且表示所有睡着的人都已被...

2019-08-23 08:15:00 1945 3

原创 干货 | Flink Connector 深度解析

作者介绍:董亭亭,快手大数据架构实时计算引擎团队负责人。目前负责 Flink 引擎在快手内的研发、应用以及周边子系统建设。2013 年毕业于大连理工大学,曾就职于奇虎 3...

2019-08-22 08:13:00 2020

转载 程序员 12 小时惊魂记:凌晨迁移数据出大事故!

有人问我:你认为一个程序员具备什么样的能力,才算得上是厉害的程序员?我答:拥有解决问题的能力的程序员。这个回答貌似有点抽象,不要紧看下面的文章你会慢慢有所了解。一、解决...

2019-08-22 08:13:00 206

转载 漫画 | 为什么程序猿996会猝死,而企业家007却不会?

猜你喜欢1、五年总结:过往记忆大数据原创精选2、我的一年中台实战录3、百度会跌出中国互联网前十吗?4、互联网人职业发展之路:三年升高工,七年做架构,十年送外卖5、慌的一批...

2019-08-22 08:13:00 1553

转载 面试3连炮:聊聊ES写入数据的原理?查询数据的原理?倒排索引了解吗?

面试题es 写入数据的工作原理是什么啊?es 查询数据的工作原理是什么啊?底层的 lucene 介绍一下呗?倒排索引了解吗?面试问这个,其实面试官就是要看看你了解不了解 ...

2019-08-22 08:13:00 193

转载 如何扛住100亿次请求?后端架构应该这样设计!

1. 前言前几天,偶然看到了 《扛住100亿次请求——如何做一个“有把握”的春晚红包系统”》一文,看完以后,感慨良多,收益很多。正所谓他山之石,可以攻玉,虽然此文发表于2...

2019-08-22 08:13:00 160

转载 百度会跌出中国互联网前十吗?

北京时间8月20日早上,百度公布了其2019年Q2财报。财报显示,按照美国通用会计准则(GAAP)计算,百度Q2的总营收为263亿元(38.4亿美元),同比增长1%,高于...

2019-08-21 08:15:00 503

转载 Apache Flink 是如何管理好内存的?

前言如今,许多用于分析大型数据集的开源系统都是用 Java 或者是基于 JVM 的编程语言实现的。最着名的例子是 Apache Hadoop,还有较新的框架,如 Apac...

2019-08-21 08:15:00 209

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除