2019年07月_Hadoop技术博文

转载送你40本书，你搞不搞？

引言好一阵子没给大伙儿送书了，还想念我，的书吗？这一次，「Hadoop技术博文」、「高级农名工」、「Python专栏」「不才黄某」、与「接地气学堂」五个公众号联合送书，一...

2019-07-31 08:03:00 715

转载漫谈HBase Filter

1初衷对数据库来说，满足业务多样化的查询方式非常重要。如果说有人设计了一个KV数据库，只提供了Get/Put/Scan这三种接口，估计要被用户吐槽到死，毕竟现实的业务场景...

2019-07-30 08:00:00 190

转载推荐几个BAT人的公众号

关注了几百个公众号无目的地看文章却如鸡肋一般食之无味弃之可惜你是否觉得时间被浪费了生命被辜负了？喜欢的东西好好使用，不必要的东西早日剔除。删除些无价值的公众号，在号的数量...

2019-07-27 09:00:00 262

原创 Apache Hadoop 的 HDFS federation 前世今生

背景熟悉大数据的人应该都知道，HDFS 是一个分布式文件系统，它是基于谷歌的 GFS 思路实现的开源系统，它的设计目的就是提供一个高度容错性和高吞吐量的海量数据存储解决方...

2019-07-26 08:21:20 341

转载 Kylin 在满帮集团千亿级用户访问行为分析中的应用

2019 年 7 月 12 日，国内首届以 Apache Kylin 为主题的大数据领域的前沿盛会 Kylin Data Summit 在上海落幕。在本次大会的制造业分论...

2019-07-25 08:11:00 109

转载这些公众号都是个人账号，为啥却一定要关注？

关注了几百个公众号无目的地看文章却如鸡肋一般食之无味弃之可惜你是否觉得时间被浪费了生命被辜负了？喜欢的东西好好使用，不必要的东西早日剔除。删除些无价值的公众号，在号的数量...

2019-07-25 08:11:00 226

转载终于有人把elasticsearch原理讲通了！

小史是一个非科班的程序员，虽然学的是电子专业，但是通过自己的努力成功通过了面试，现在要开始迎接新生活了。随着央视诗词大会的热播，小史开始对诗词感兴趣，最喜欢的就是飞花令的...

2019-07-24 09:04:36 441

转载 Python，Power BI,excel，商业数据分析技能详解

【文末领取免费福利】4月17日，有消息称亚马逊将于本周宣布退出中国，具体的时间待定。此后，亚马逊在中国仅保留两项业务，一是Kindle；二是跨境贸易，主营业务电商将全部退...

2019-07-23 08:31:00 2668 1

转载滴滴Elasticsearch多集群架构实践

Elasticsearch 是基于 Lucene 实现的分布式搜索引擎，提供了海量数据实时检索和分析能力。Elastic 公司开源的一系列产品组成的 El...

2019-07-23 08:31:00 272

转载日均处理万亿数据！Flink在快手的应用实践与技术演进之路

作者 | 董亭亭整理 | 蒋晓峰编辑 | Natalie AI 前线导读：作为短视频分享跟直播的平台，快手有诸多业务场景应用了 F...

2019-07-22 08:22:00 439

转载推荐一位大佬，在腾讯工作十年

今天给大家推荐一个技术大牛：大飞。微信早期员工，腾讯高级工程师，技术leader。他高中开始接触编程，大学校招实习生进入腾讯，在腾讯工作十年，算是微信部门的资深架构师。做...

2019-07-22 08:22:00 239

转载 Elasticsearch SQL用法详解

本文详细介绍了不同版本中Elasticsearch SQL的使用方法，总结了实际中常用的方法和操作，并给出了几个具体例子。一、5.x中ES-SQL用法Elasticsea...

2019-07-21 08:54:45 295

转载如何保证消息队列的可靠性传输？

点击▲关注 “过往记忆大数据” 给公众号标星置顶更多精彩第一时间直达本文来源|石杉的架构笔记面试题如何保证消息的可靠性传输？或者说，如何处理消息丢失的问题？面试...

2019-07-20 08:53:25 226

转载京东大数据平台进化之路

本文内容来自由msup主办的第七届TOP100summit大会。分享者王哲涵，时任京东离线平台研发团队负责人。2015年加入京东，于大数据平台研发部工作, 负责京东大数据...

2019-07-19 08:10:52 3921

转载认认真真推荐几个牛X的技术公众号

今天强烈推荐一些互联网行业内优质技术公众号，互联网人大部分都关注了，在工作、生活节奏超快的今天，想要不断提升自我，利用碎片化阅读学习是你最佳选择，这些号在行业里深耕已久，...

2019-07-18 08:16:00 340

转载快手 HBase 在千亿级用户特征数据分析中的应用与实践

分享嘉宾：陈杨快手编辑整理：Hoh Xil内容来源：BigData NoSQL 12th Meetup出品社区：DataFun快手建设 HBase 差不多有2年时间，在...

2019-07-18 08:16:00 1063

转载日均5亿查询量的京东订单中心，为什么舍MySQL用ES?

点击▲关注 “过往记忆大数据” 给公众号标星置顶更多精彩第一时间直达本文转自|DBAPlus作者介绍张sir，京东到家研发工程师，主要负责订单中心、商家中心、计...

2019-07-17 08:31:00 433

转载百分点万亿级大数据平台的建设实践

点击▲关注 “过往记忆大数据” 给公众号标星置顶更多精彩第一时间直达本文转自| ITPUB 作者| 赵群从互联网、移动互联网到物联网，数据量之巨大已突破想象边...

2019-07-14 17:58:00 301

转载 SQL on Hadoop在快手大数据平台的实践与优化

点击▲关注 “过往记忆大数据” 给公众号标星置顶更多精彩第一时间直达本文转自| 快手星球作者| 钟靓一、SQL on Hadoop介绍SQL on Hado...

2019-07-13 09:00:00 520

转载 Elasticsearch如何做到亿级数据查询毫秒级返回？

点击▲关注 “过往记忆大数据” 给公众号标星置顶更多精彩第一时间直达本文转自|https://zhuanlan.zhihu.com/p/60458049面试题e...

2019-07-12 08:00:00 291

转载数据分析、机器学习必读书，李航《统计学习方法》出视频课了！

我一直认为，要想成为互联网技术大牛，学习是永不止步的。找对学习队伍，利用碎片时间，学习行业前辈的优质分享，慢慢的，你就会成为别人眼里的大牛。----过往记忆大数据推荐（文...

2019-07-11 09:33:58 589

原创 Apache Spark 中内存存储演进

本ppt来自于4月23-25日举行的 Spark + AI Summit 2019。本文总结 Apache Spark 社区最近为增强 Spark 2.3 中的列存储而做...

2019-07-10 08:24:32 271

转载常见的Hadoop十大应用误解

本文链接：https://www.jianshu.com/p/08255fa980e4来源：简书Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以...

2019-07-09 18:04:00 155

转载 HBase 疑难杂症诊治

hbase2.0处理rit状态记录日期版本号类别描述2019-07-051.0.0A排查hbase2.0的rit问题问题说明由于使用HDP3.0，HDP3.0使用的是hb...

2019-07-08 08:25:00 2102

转载 Apache Hive JdbcStorageHandler 编程入门指南

ApacheHive从HIVE-1555开始引入了 JdbcStorageHandler ，这个使得Hive能够读取 JDBC 数据源，关于 Apache H...

2019-07-07 12:36:02 889

转载 HBase 四种数据迁移方案

本文原文：http://ballwql.cnblogs.com/一、前言HBase数据迁移是很常见的操作，目前业界主要的迁移方式主要分为以下几类：图1.HBase数据迁移...

2019-07-06 15:05:40 8136

转载京东HBase平台进化与演进

作者简介吴怡燃，京东大数据平台资深研发工程师，HBase平台负责人。数据存储之HBase随着信息化数字化的发展，越来越多的数据以数字化的方式存储在计算机系统中。而传统的数...

2019-07-04 08:33:25 326

转载 MongoDB、Cassandra 和 HBase 三种 NoSQL 数据库比较

Hadoop 获得了许多大数据应用的信誉，但实际情况是，NoSQL数据库是一直处于更加广泛部署和更广泛的发展中的技术。尽管选择 Hadoop 作为应用存储，相对来说更直接...

2019-07-03 08:27:21 467

转载推荐几个清华和交大学霸的公众号，值得学习！

在生活节奏爆炸的时代，想要保持新鲜感，需要不断的提升自己。利用碎片化的时间学习，是你的最佳选择。今天给大家精心挑选的这几个优质的公众号，在行业深耕已久，相信大家一定会有所...

2019-07-02 08:03:00 363

转载干货 | 每天十亿级数据更新，秒出查询结果，ClickHouse在携程酒店的应用

作者简介蔡岳毅，携程酒店大数据高级研发经理，负责酒店数据智能平台研发，大数据技术创新工作。喜欢探索研究大数据的开源技术框架。一、背景1）携程酒店每天有上千表，累计十多亿数...

2019-07-02 08:03:00 1306

转载深入理解 Spark Delta Lake 的诞生及其工作原理

美国怀俄明的Delta Lake本文来自2019年6月26日在美国波士顿举办的 Spark Meetup，分享者是正是砖厂（Databricks）的大神 Michael ...

2019-07-01 08:13:30 6249 1

Hadoop技术博文