presto 0.166概述

presto是什么 是Facebook开源的,完全基于内存的并⾏计算,分布式SQL交互式查询引擎 是一种Massively parallel processing (MPP)架构,多个节点管道式执⾏ ⽀持任意数据源(通过扩展式Connector组件),数据规模GB~PB级 使用的技术,如向...

2019-05-19 10:08:36

阅读数 1

评论数 0

HUE4.3安装配置

HUE简介 Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,用Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进...

2019-05-14 22:32:18

阅读数 4

评论数 0

Presto查询优化

Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。查询语言是类ANSI SQL语句。笔者在多个项目中用到Presto做即席查询,总结了一些优化措施。 一、数据存储 合理设置分区 与Hive类似,Presto会根据元信息读取分区数据,合理的分区能减少...

2019-05-14 22:23:25

阅读数 5

评论数 0

Apache Hadoop如何支持读写OSS

背景 2017.12.13日Apache Hadoop 3.0.0正式版本发布,默认支持阿里云OSS对象存储系统,作为Hadoop兼容的文件系统,后续版本号大于等于Hadoop 2.9.x系列也支持OSS。然而,低版本的Apache Hadoop官方不再支持OSS,本文将描述如何通过支持包来使H...

2019-05-13 21:22:35

阅读数 9

评论数 0

kubernetes1.13安装dashboard

1、下载kubernetes-dashboard.yaml wget https://raw.githubusercontent.com/kubernetes/dashboard/master/aio/deploy/recommended/kubernetes-dashboard.yaml ...

2019-04-30 14:09:59

阅读数 100

评论数 0

Kubernetes实战:部署集群监控prometheus-operator

1. 下载最新版、解压 wget https://github.com/coreos/prometheus-operator/archive/v0.23.2.tar.gz 2. 部署 官方提示默认在default命名空间下创建,这里我们修改一下 Note: make sure to ...

2019-04-29 16:29:35

阅读数 185

评论数 0

部署Apache Kylin读写分离

https://www.cnblogs.com/yongjian/p/10110119.html https://blog.51cto.com/xiaolanlan/2082991

2019-04-26 11:26:19

阅读数 18

评论数 0

kylin 在Yarn HA模式下报错

yarn 非ha的时候是没问题的 在HA模式下,发现报错,信息如下: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.yarn.client.RequestHedging...

2019-04-26 09:41:50

阅读数 188

评论数 0

Apache Kylin 2.5.0安装和使用

1.背景 Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。 Apache Kylin官网:http://kylin.apache...

2019-04-24 17:35:54

阅读数 26

评论数 0

ambari-Kylin

概述 目前上传至ambari-Kylin上的有两个版本,一个是HDP2.6与Kylin2.5.1集成使用的一版;一个是HDP3.0与Kylin2.6.0集成使用的一版。 上传至github上的仅支持服务的基本使用,如正常启停,超链接Kylin Web UI功能。 但是像服务的启停顺序和服务...

2019-04-24 17:08:47

阅读数 11

评论数 0

Kubernetes使用prometheus+grafana做一个简单的监控方案

本文介绍在k8s集群中使用node-exporter、prometheus、grafana对集群进行监控。 其实现原理有点类似ELK、EFK组合。node-exporter组件负责收集节点上的metrics监控数据,并将数据推送给prometheus, prometheus负责存储这些数据,gra...

2019-04-21 11:23:23

阅读数 74

评论数 0

kubernetes使用Traefik暴露web服务

Traefix介绍(摘自网络) traefik 是一个前端负载均衡器,对于微服务架构尤其是 kubernetes 等编排工具具有良好的支持;同 nginx 等相比,traefik 能够自动感知后端容器变化,从而实现自动服务发现。 traefix的架构如下: Traef...

2019-04-18 21:21:25

阅读数 33

评论数 0

kubeadm部署kubernetes 1.13.1集群

kubeadm是Kubernetes官方提供的用于快速部署Kubernetes集群的工具,本篇文章使用kubeadm搭建一个单master节点的3节点k8s集群。 kubernetes简介 Kubernetes节点架构图: kubernetes组件架构图: 1.准备基础环境 ...

2019-04-15 21:40:30

阅读数 25

评论数 0

hue 提交spark-sql 关于CTAS bug的解决

CTAS就是create table as select的简称。 最近在使用SparkSQL来进行快速的自定义SQL分析,因为需要把分析的结果保存下来,所以一定要使用CTAS功能,然而在使用的时候发现了一个bug,当然这个bug已经被报告了,状态依然是unresolved 我们用的spark2...

2019-04-15 17:05:12

阅读数 52

评论数 0

centos7.5更新内核到4.18

Docker对Linux内核版本的最低要求是3.10。目前Linux内核已经发布到 4.18,为了更好使用docker和k8s,需要对公司相关CentOS 7内核进行升级。 docker官方对内核的说明:https://docs.docker.com/storage/storagedriver/...

2019-04-15 09:11:44

阅读数 21

评论数 0

HBase最佳实践-列族设计优化

问题导读: 1.BLOCKSIZE属性在不同场景下应该如何设置? 2.COMPRESSION属性和DATA_BLOCK_ENCODING属性的区别是什么? 3.Hbase需要注意哪些设计原则? 随着大数据的越来越普及,HBase也变得越来越流行。会用HBase现在已经变的并不困难...

2019-04-12 15:30:13

阅读数 32

评论数 0

mysql 优化

[mysqld] innodb_buffer_pool_size = 2G innodb_file_per_table = ON innodb_log_buffer_size= 100M innodb_log_file_size = 100M innodb_data_file_path = ibd...

2019-04-11 11:12:03

阅读数 12

评论数 0

prometheus,alertmanager 报警配置详解

vimprometheus.yml global: scrape_interval: 15s external_labels: monitor: 'codelab-monitor' scrape_configs: - job_name: test sta...

2019-04-10 09:32:04

阅读数 30

评论数 0

Ansible之Playbook详解、案例

playbook-剧本 介绍 playbooks是 一个不同于使用Ansible命令行执行方式的模式,其功能更强大灵活。简单来说,playbook是一个非常简单的配置管理和多主机部署系统,不同于任何已经存在的模式,可作为一个适合部署复杂应用程序的基础。Playbook可以定制配置,可以按照指定的...

2019-04-01 20:46:27

阅读数 22

评论数 0

Ansible Playbooks基本使用

Ansible Playbooks基本使用 阅读目录 Ansible Playbooks基本使用 你将学到什么 PlayBook使用 简单的playbook 样例playbook roles使用 Ansible Playbooks高级使用 文件操作 修改文件 循环控制 ...

2019-03-28 23:03:26

阅读数 28

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭