- 博客(5)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 本地 hbase 集群配置 Azure Blob Storage
简述：hadoop-azure 提供hadoop 与 azure blob storage 集成支持，需要部署hadoop-azure.jar程序包，在HDP2.4 安装包中已默认提供，如下图： 配置成功后，读写的数据都存储在 Azure Blob Storage account 支持配置多个 Azure Blob Storage account， 实现了标准的 Hadoop Fi...
2019-05-19 20:31:03
330
转载 presto 0.166概述
presto是什么是Facebook开源的，完全基于内存的并⾏计算，分布式SQL交互式查询引擎是一种Massively parallel processing (MPP)架构，多个节点管道式执⾏⽀持任意数据源（通过扩展式Connector组件），数据规模GB~PB级使用的技术，如向量计算，动态编译执⾏计划，优化的ORC和Parquet Reader等presto不太支持存储过程...
2019-05-19 10:08:36
175
转载 HUE4.3安装配置
HUE简介Hue是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，用Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job，执行Hive的SQL语...
2019-05-14 22:32:18
491
转载 Presto查询优化
Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。查询语言是类ANSI SQL语句。笔者在多个项目中用到Presto做即席查询，总结了一些优化措施。一、数据存储合理设置分区 与Hive类似，Presto会根据元信息读取分区数据，合理的分区能减少Presto数据读取量，提升查询性能。 使用列式存储 Presto对ORC文件读取做了特定优化，因...
2019-05-14 22:23:25
3199
转载 Apache Hadoop如何支持读写OSS
背景2017.12.13日Apache Hadoop 3.0.0正式版本发布，默认支持阿里云OSS对象存储系统，作为Hadoop兼容的文件系统，后续版本号大于等于Hadoop 2.9.x系列也支持OSS。然而，低版本的Apache Hadoop官方不再支持OSS，本文将描述如何通过支持包来使Hadoop 2.7.2能够读写OSS。如何使用下面的步骤需要在所有的Hadoop节点执行下...
2019-05-13 21:22:35
2801
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人