2018年12月_大数据技术与数仓

12月 11月 10月

原创 CDH5.15.1安装部署

目录一、软件环境二、安装前准备2.1配置网络名称(hostname)2.2配置SSH免密登录2.3集群时间同步2.4关闭防火墙2.5关闭SELINUX2.6安装JDK2.7安装和配置数据库2.7.1安装MySQL2.7.2为Cloudera组件创建数据库2.8Linux参数配置2.8.1设置swappiness2.8.2关闭透明大页面2....

2018-12-30 23:12:42 1755

原创 greenplum生产集群中segment故障恢复

目录一、greenplum集群环境二、segment故障检查2.1gpstate -m日志信息2.2gpstate -c 日志信息2.3gpstate -e 日志信息2.4gpstate -s 日志信息2.5故障说明三、segment故障恢复3.1在master主机上运行下面命令，重新激活失败的segment3.2运行gpstate 命令用于验证重新同...

2018-12-15 22:26:38 1673

原创 greenplum中常使用的一些小技巧

1.查看表的大小postgres=# select pg_size_pretty(pg_relation_size('cbp_anadata201811'));2.查看连接数postgres=# select usename,client_addr, client_port from pg_stat_activity;3.查看master和segment角色状态信息postg...

2018-12-12 14:46:38 1086

原创 impala调优

一、分区表二、Join查询调优优化连接查询最简单的方式是使用compute stats命令收集所有参与关联表的统计信息，让impala根据每个表的大小、列的非重复值个数等相关信息自动优化查询。如果参与关联的表的统计信息不可用，使用impala自动的连接顺序效率很低，可以在select关键字后使用straight_join关键字手动指定连接顺序，指定了该关键字之后，impala会使用表在...

2018-12-07 14:12:55 3173

基于Hive的项目实战用户数据集

基于Hive的项目实战用户数据集格式为： uploader string, videos int, friends int

2019-02-27

基于Hive的项目实战视频数据集

基于Hive的项目实战视频数据集 videoId string, uploader string, age int, category array, length int, views int, rate float, ratings int, comments int, relatedId array

2019-02-27

基于Hive的项目实战视频原始数据集

基于Hive的项目实战视频原始数据集，格式为 videoId string, uploader string, age int, category array, length int, views int, rate float, ratings int, comments int, relatedId array

2019-02-27

greenplum5.9.0安装包，greenplum-cc-web安装包

greenplum5.9.0安装包，greenplum-cc-web安装包，greenplum-cc-web-4.2.0-LINUX-x86_64.zip，greenplum-db-5.9.0-rhel6-x86_64.zip

2018-10-18

greenplum集群安装部署

2018-08-29

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人