- 博客(10)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 Hive的三种Join方式
Hive中就是把Map，Reduce的Join拿过来通过SQL来表示。参考链接：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+JoinsCommon/Shuffle/Reduce JoinReduce Join在hive中也叫Common Join或Shuffle Join如果两边数据量都很大
2017-06-25 20:16:17
1263
转载 Impala亲密接触之10：impala最佳实践（转、译、整理）
2016-04-27 10:52:15 243 0 0前言最近在看impala原理时候翻出来的一些tip，帮助更好地使用impala，自己整理一下。0x01 杂项1. Impala 使用缓存吗？Impala 不会缓存数据，但它缓存一些表和文件的元数据。尽管因为数据集被缓存到 OS 的缓冲区中，接下来的重复查询可能运行的更快，Imp
2017-06-22 13:37:52
1192
转载 Spark App自动化分析和故障诊断
Spark App自动化分析和故障诊断大数据 Spark 苏宁阅读475 陈泽，苏宁云商IT总部高级技术经理。苏宁云商大数据离线计算平台的计算方向负责人，目前主要从事Yarn，Hive，Spark，Druid等计算组件研发工作。曾就职于百度，有多年的Spark大数据方向的研发经验，精通Spark SQL，Druid等内核原理，有丰富的
2017-06-21 20:35:19
1436
转载 在Spark上通过自定义RDD访问HBase
在Spark上通过自定义RDD访问HBase2017年6月21日作者：robin暂无评论文章目录 [显示]这里介绍一个在Spark上使用自定义RDD获取HBase数据的方案。这个方案的基础是我们的HBase表的行键设计。行键设计大概是这样子的：标签ID+时间戳+随机码。平时的需求主要是导出指定标签在某个时间范围内的全部记录。根据需求和行键设计确定
2017-06-21 20:18:05
1234
转载 网易视频云:HBase RegionServer宕机案件侦查
2016-04-21 11:44今天网易视频云技术专家给大家分享一下HBase–RegionServer宕机案件侦查，欢迎参与讨论。本来静谧的晚上，吃着葡萄干看着球赛，何等惬意。可偏偏一条报警短信如闪电一般打破了夜晚的宁静，线上集群一台RS宕了！于是倏地从床上坐起来，看了看监控，瞬间惊呆了：单台机器的读写吞吐量竟然达到了5w ops/sec！RS宕机是因为这么大的写入量造成的？
2017-06-19 20:50:12
794
转载 Hadoop作业调度器
随着 MapReduce 的流行，其开源实现 Hadoop 也变得越来越受推崇。在 Hadoop 系统中，有一个组件非常重要，那就是调度器。调度器是一个可插拔的模块，用户可以根据自己的实际应用要求设计调度器1、调度器基本作用 Hadoop调度器的基本作用就是根据节点资源（slot）使用情况和作业的要求，将任务调度到各个节点上执行2、调度器考虑的因素 1、作业优先
2017-06-11 17:47:11
2518
转载 HBase最佳实践-用好你的操作系统
HBase最佳实践-用好你的操作系统 2017年5月24日 范欣欣 HBase终于又切回HBase模式了，之前一段时间因为工作的原因了解接触了一段时间大数据生态的很多其他组件（诸如Parquet、Carbondata、Hive、SparkSQL、TPC-DS/TPC-H等），虽然只是走马观花，但也受益良多。对视野、思维模式都有极其重要的作用，至少，扩展了大数据领域的对话圈。这里也斗
2017-06-05 20:04:34
2078
转载 如何确定Kafka的分区数、key和consumer线程数
如何确定Kafka的分区数、key和consumer线程数时间 2015-08-25 12:28:00 博客园-原创精华区原文 http://www.cnblogs.com/huxi2b/p/4757098.html主题 Apache Kafka在Kafak中国社区的qq群中，这个问题被提及的比例是相当高的，这也是Kafka用户最常碰到的问题之一。本文结合K
2017-06-02 20:50:17
514
转载 hive select * 为什么提交job
hive select * 为什么提交job小八59876斯咳 | 浏览 40 次发布于2016-08-15 11:40最佳答案hive 0.10.0为了执行效率考虑，简单的查询，就是只是select，不带count,sum,group by这样的，都不走map/reduce，直接读取hdfs文件进行filter过滤。这样做的好处就是不新开m
2017-06-01 16:28:46
439
转载 网易视频云:HBase —— RegionServer宕机案件侦查
网易视频云:HBase —— RegionServer宕机案件侦查网易视频云 2016-04-21 11:45 阅读：92摘要：网易视频云技术分享:HBase RegionServer宕机案件侦查今天网易视频云技术专家给大家分享一下HBase–RegionServer宕机案件侦查，欢迎参与讨论。本来静谧的晚上，吃着葡萄干看着球赛，何等惬意。可偏偏一条报警
2017-06-01 15:57:31
961
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人