自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Hadoop技术博文

大数据技术分享公众号。推送关于但不限于Spark、Hadoop、Flink、Kafka等大数据技术相关内容。...

原创 云栖大会 | Apache Spark 3.0 和 Koalas 最新进展

本资料来自2019-09-26在杭州举办的云栖大会的大数据 & AI 峰会分会。议题名称《New Developments in the Open Source ...

2019-09-27 22:00:00 277 0

转载 作为程序员,我在电脑上都装过哪些 Chrome 插件?

前言相信在座大部分从事软件开发的同学都与我一样,每天在 PC 端上使用最多的几类产品,无疑是浏览器、编辑器和命令行终端。而一旦提到浏览器,自然不免俗的要提到那个倍受诸多开...

2019-09-27 22:00:00 78 0

转载 Spark on Kubernetes 的现状与挑战

作者:陶克路,花名敌珐,阿里巴巴技术专家。Apache Pulsar 等开源软件 Contributor。技术领域包括大数据和云原生技术栈,目前致力于构建大数据领域业界领...

2019-09-26 22:00:00 202 0

转载 教你几个白嫖百度文库的方法,亲测可用!建议收藏!

后台经常有小伙伴问能不能下载百度文库的于是,我就随手搜了一下百度文库下载结果网上各种方法但是其中靠谱的并不多要么就是需要充钱买点要么就是下载下来格式混乱我亲手试了十多款免...

2019-09-26 22:00:00 755 0

转载 Spark SQL 之 Join 实现

Join作为SQL中一个重要语法特性,几乎所有稍微复杂一点的数据分析场景都离不开Join,如今Spark SQL(Dataset/DataFrame)已经成为Spark应...

2019-09-25 21:58:00 59 0

转载 毕业五年,就在一线城市买房的阿里系大神的公众号

工作、生活节奏超快的今天,想要不断提升自我,碎片化阅读学习是你最佳的选择,如果你有一颗学习的心,那这些优质的公众号,绝对会让你受益匪浅。在这里为你精选了几个精品技术公众号...

2019-09-25 21:58:00 69 0

转载 阿里架构总监一次讲透中台架构,13页PPT精华详解,建议收藏!

文/技术领导力社区编辑/Emma转载请联系授权(微信ID:tojerry123)本文整理了阿里几位技术专家,如架构总监谢纯良,中间件技术专家 玄难等几位大牛,关于中台架...

2019-09-24 21:55:00 143 0

转载 程序员等级图鉴

程序员是一个非常神奇的工种,他们对技术有特殊的崇拜,有着严格的等级划分,不同级别的程序员有什么不同之处呢?Let us 瞅瞅日常工作日常着装日常书籍日常用语日常问题收到报...

2019-09-24 21:55:00 26 0

原创 原创干货 | 史上最全的大数据学习资源(Awesome Big Data)

很多人在学习大数据的时候比较迷茫,不知从何学起,也不能够比较系统、全面的了解大数据框架。为此,过往记忆花了一个周末的时间把 Awesome Big Data (https...

2019-09-23 08:14:00 168 0

转载 Apache Spark Delta Lake 写数据使用及实现原理代码解析

Delta Lake 写数据是其最基本的功能,而且其使用和现有的 Spark 写 Parquet 文件基本一致,在介绍 Delta Lake 实现原理之前先来看看如何使用...

2019-09-23 08:14:00 198 0

转载 美团1万台 Hadoop 集群 YARN 的调优之路

背景YARN作为Hadoop的资源管理系统,负责Hadoop集群上计算资源的管理和作业调度。美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务...

2019-09-22 21:58:00 168 0

转载 互联网人的健身,只是为了保命

互联网人的人生实在是太太太太难了,所以选择一种适合自己的锻炼方式极为重要。该怎么选择合适的健身方式呢?除了看时间、地点、教练性别等因素以外,当然还得考虑自己职业的特殊属性...

2019-09-22 21:58:00 121 0

转载 30岁了,还能入职BAT吗?这几个公众号告诉你

在输出文章以及提升技术的过程中,确实发现会有不少的小坑加大坑。“前人栽树,后人乘凉”这话不是说说而已,在自己学习过程中如果能得到他人的帮助相信会顺利很多。读万卷书,不如行...

2019-09-22 21:58:00 190 0

转载 ElasticSearch 性能调优,让你的集群飞起来

Elasticsearch作为日志存储和分析的工具,在企业级应用中常常使用。Elasticsearch提供强大的搜索、分析功能,已经是后端技术栈不可缺少的一部分。文件句柄...

2019-09-19 08:15:00 910 0

转载 漫画:什么是中台?

没有中台的时代在传统IT企业,项目的物理结构是什么样的呢?无论项目内部的如何复杂,都可分为“前台”和“后台”这两部分。什么是前台?首先,这里所说的“前台”和“前端”并不是...

2019-09-19 08:15:00 2190 0

转载 嘘!捡漏啦!1919元=高性能电脑,满额+500京东卡...

中秋大促之后都在等双十一?并不戴尔官网国庆清仓跳水价买新机联系客服下单新客户满额获取500元京东卡!戴尔官网季末清仓啦!想换工作利器,想换电脑这个活动不能错过!拼手速截...

2019-09-18 11:01:23 739 0

原创 你还在使用 JDK 7?JDK 13 都已经来了!五大新特性你最喜欢哪个 ?

就在昨天(2019年09月17日),JDK 13 已经处于 General Availability 状态,已经正式可用了。General Availability(简称...

2019-09-18 11:01:23 1166 0

转载 GitHub 上有什么好玩的项目?

上个月有水友私信问我,GitHub 上有没有比较好玩的项目可以推荐?我跟他说:"有,过两天我整理一下"。然而,一个月过去了,我把这件事情忘了精光,直至他昨天提醒我才记起。...

2019-09-18 11:01:23 1428 0

转载 一文彻底理解ZooKeeper分布式锁的实现原理

一、写在前面本文基于比较常用的Curator这个开源框架,聊一下这个框架对ZooKeeper(以下简称zk)分布式锁的实现。一般除了大公司是自行封装分布式锁框架之外,建议...

2019-09-17 08:58:14 712 0

转载 搜索引擎百度已死,但其他业务在重生

年初有一篇《搜索引擎百度已死》的文章在全网刷屏,文章尖锐指出百度搜索有一半以上结果导向了自己的百家号,而百家号上大量低劣和营销的内容严重误导了用户,事后百度回应说其百家号...

2019-09-17 08:58:14 772 0

转载 爱奇艺海量数据实时分析架构的演进

1.现状与挑战爱奇艺目前使用到的大数据相关技术有Druid、Impala、Kudu、Kylin、Presto、ElasticSearch等,并且随着各技术框架的版本升级而...

2019-09-16 20:20:10 536 0

转载 北漂7年,一位大龄程序员的安全着陆之旅

前天下午5点多,收到P君信息,如下图左边,他说决定去一家半国企性质的公司,当天收到offer,当天提离职申请。P君是我在猎豹移动的前同事。第一次见他是面试现场,他是二面官...

2019-09-16 20:20:10 1427 0

转载 盘点“开源项目”最多的阿里、美团大佬的公众号

人与人之间的差异,很多时候在于认知,有些人,会在某一瞬间顿悟,启动自己的开挂模式,而下面这些原创公众号,正是带我们刷新认知,提升知识新高度的优质公众号,也许他们中的某一篇...

2019-09-15 21:58:00 325 0

转载 又一家数据公司被查,爬虫到底做错了什么?

9 月 6 日下午,多位业内人士称,杭州知名大数据服务公司杭州魔蝎数据科技有限公司,疑似被相关执法人员控制,其中一位周姓核心高管人员被警方带走。以上是昨天技术圈传播的一则...

2019-09-15 21:58:00 604 0

转载 程序员如何用 1 年获得大厂3 年实战经验?

时刻保持对新技术的敏感度,并定期更新自己的技能储备,是每个技术人的日常必修课。要做到这一点,最高效的办法就是直接跟 BAT 等一线大厂取经。说白了,平台足够大,就会有更...

2019-09-14 09:11:37 200 0

转载 再有人面试问你 Redis 分布式锁的实现,把这篇文章甩给他

目录一、写在前面二、Redisson实现Redis分布式锁的底层原理(1)加锁机制(2)锁互斥机制(3)watch dog...

2019-09-12 08:14:00 443 1

转载 12306 抢票项目霸榜 GitHub,标星即将破万

作者丨王文婧十一将至,你买到回家的火车票了吗?如果没有,你可以试着打开 GitHub,在搜索栏键入 12306 的关键词,我相信你会发现一个新大陆。没错,这里有 1572...

2019-09-12 08:14:00 195 0

转载 愿天下团圆,愿天下再无团圆

1韩旭杰的人生,在1977年差点被终结。那天他的母亲因为青霉素过敏,躺在床上休息,父亲在单位上班。只有1岁多的韩旭杰刚学会走路,一个人跌跌撞撞从房间爬到了院子里。起初,韩...

2019-09-12 08:14:00 218 0

转载 他自学成才,坐拥42W粉丝,技术第一大号!

今天给大家推荐一位自学转行Python数据挖掘算法的朋友:王大伟。他是公众号“Python爱好者社区”公众号的唯一小编,目前他的公众号有42W+粉丝。你与这些干货只差长按...

2019-09-11 08:14:00 237 0

转载 基于 MySQL Binlog 的 Elasticsearch 数据同步实践

一、为什么要做随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。使用 Elasti...

2019-09-11 08:14:00 258 0

转载 大数据面试知识图谱

作者:大数据技术与架构By大数据技术与架构场景描述:大数据开发岗位技能树,学习和复习总纲。关键词:面试 大数据 大纲正所谓,无招胜有招。愿读到这篇文章的技术人早日明白并...

2019-09-11 08:14:00 638 1

原创 这可能是学习 Spark Delta Lake 最全的资料

Delta Lake是一个存储层,为 ApacheSpark和大数据 workloads 提供 ACID 事务能力,其通过写和快照隔离之间的乐观并发控制(optim...

2019-09-10 08:12:00 1126 0

转载 七问Redis,才知道我与技术大牛的差距在哪里

“Hello,Redis!我们相处已经很多年了,从模糊的认识到现在我们已经深入结合,你的好我一直都知道也一直都记住,能否再让我多问你的几个问题,让我更加深入的去了解你。R...

2019-09-10 08:12:00 227 0

转载 为什么你的提问没人解答?

作者:王大伟 微软最有价值专家(MVP) 平安金融壹账通大数据研究院数据挖掘攻城狮在IT圈子里,不同岗位的从业者都会或多或少在工作中遇到各种问题,公司的相关规章制度...

2019-09-10 08:12:00 171 0

转载 一文让你彻底了解大数据实时计算引擎 Flink

前言随着这些年大数据的飞速发展,也出现了不少计算的框架(Hadoop、Storm、Spark、Flink)。在网上有人将大数据计算引擎的发展分为四个阶段。第一代:Hado...

2019-09-09 08:29:00 474 0

转载 你以为大厂的代码就不烂了?看看公众号怎么说?

推荐几个优质的公众号,每一个公众号都是一个特色的图书馆,为我们的学习提供优质的服务,珍贵的资源,耐心看完,认真选择适合自己的良师益友吧,非诚勿扰,扫码关注。CodePus...

2019-09-08 22:00:00 120 0

转载 fastjson爆出重大漏洞,攻击者可使整个业务瘫痪

报告编号:B6-2019-090501报告来源:360-CERT报告作者:360-CERT更新日期:2019-09-050x00 漏洞背景2019年9月5日,360CER...

2019-09-08 22:00:00 4665 0

转载 互联网人口头禅大全

据我观察,我们公司里很多人都有口头禅——比如隔壁组的开发大哥,面对产品最爱说的是“我去!”后来经过大家的友善提醒和他自己的认真反思,改成了“阿西吧!”比如新来的实习生小朋...

2019-09-08 22:00:00 155 0

转载 雅虎日本如何用 Pulsar 构建日均千亿的消息平台

雅虎日本是一家雅虎和软银合资的日本互联网公司,是日本最受欢迎的门户网站之一。雅虎日本的互联网服务在日本市场占主导地位。挑战运营规模巨大对雅虎日本来说是个挑战。高性能和可扩...

2019-09-05 08:26:00 132 0

转载 3年从200个数据用户发展到6000人,eBay的大数据平台是如何做到的?

在 7 月首届 Kylin Data Summit 上,大会特别邀请到了eBay 全球研发副总裁、中国研发中心总经理田卫女士带来主旨演讲。eBay,这家在国内非常低调的老...

2019-09-05 08:26:00 205 0

提示
确定要删除当前文章?
取消 删除