2021年06月_半吊子Kyle

原创 HDFS的Shell操作命令

HDFS 的 Shell命令Shell 命令说明Shell 命令选项Shell 命令概览Shell 命令说明HDFS 是存取数据的分布式文件系统，那么对 HDFS 的操作，就是文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对 HDFS 的操作命令类似于 Linux 的 shell 对文件的操作，如 ls 、mkdir 、rm 等文件系统 shell 包括与 Hadoop 分布式文件系统（HDFS）以及 Hadoop 支持的其他文件系统（如本地 FS，HFTP

2021-06-21 11:32:33 4148 2

原创 Hive 调优总结...持续更新

Hive 调优总结...持续更新Fetch抓取（Hive可以避免进行MapReduce）本地模式Join 优化Map 端 Join 优化（大表 Join 小表）空key过滤（大表 Join 大表）空key转换（大表 Join 大表）SQL 优化列裁剪分区裁剪GroupByCount(distinct)笛卡尔积动态分区调整优化动态分区参数设置案例分析数据倾斜优化Map 数据倾斜Reduce 数据倾斜并行执行优化严格模式JVM 重用推测执行存储方式和压缩方式Fetch抓取（Hive可以避免进行MapReduc

2021-06-21 10:14:15 1201 3

原创 Hive 中的函数概览

Hive 中的函数概览Hive 内置函数Hive 内置函数说明Hive 数学函数Hive 字符串函数Hive 日期函数Hive 条件函数Hive 转换函数Hive 行转列Hive 表生成函数explode 函数介绍LATERAL VIEW侧视图Reflect函数Hive 开窗函数窗口函数(1) NTILE,ROW_NUMBER,RANK,DENSE_RANKHive分析窗口函数(2) SUM,AVG,MIN,MAXHive分析窗口函数(3) LAG,LEAD,FIRST_VALUE,LAST_VALUEH

2021-06-18 22:59:51 2113 2

原创 Hive 的SQL基本操作

Hive 的基本操作Hive 数据库操作Hive 数据库表操作Hive 数据库操作切换数据库-- 切换为 myhive 数据库use myhive;查看所有的数据库-- 切换为 myhive 数据库show databases;查看数据库的详细信息-- 查看数据库 myhive 的详细信息desc database myhive;创建数据库-- 创建一个名称为 myhive 的数据库create database if not exists myhive;数据库表

2021-06-17 22:12:52 2921 9

原创 Linux 安装 JDK

Linux 安装 JDK检测 JDK 安装包rpm -qa | grep java创建 java 目录# 进入以下目录cd /usr/lib# 上传压缩包解压 jdk 安装包# 解压tar -zxvf jdk-8u172-linux-x64.tar.gz# 解压后的目录/usr/lib/jdk1.8.0_172配置环境变量# 编辑环境变量配置文件vim /etc/profile# 在最前面添加export JAVA_HOME=/usr/lib/jdk1.

2021-06-17 14:10:34 193

原创 Hive 安装以及使用 DataGrip 连接 Hive

Hive 安装以及使用 DataGrip 连接 HiveHive 安装说明Hive 安装前的准备Hive 安装Hive 启动Hive 安装常见的问题Hive 安装说明① 环境说明Hadoop 环境已通过腾讯云服务器完成搭建，我是将 hive 安装到该 hadoop 集群的某个节点了Mysql 中间件使用的是阿里云的产品② 版本说明Hadoop 2.7.5 +Hive 2.1.1 + Mysql 8.0.18 + Centos 7 + DataGrip 2021Hive 安装前的准备① 搭

2021-06-13 14:23:21 5538 4

原创 Linux 安装 Mysql

Linux 安装 Mysql下载前装备解压并配置安装目录Mysql 服务配置Mysql 服务启动环境变量配置及设置开机启动下载前装备下载地址Mysql-Download下载版本mysql-5.7.29-linux-glibc2.12-x86_64.tar.gz解压并配置安装目录① 解压 mysql 安装包# 进入目标目录cd /opt/software# 解压tar -zxvf mysql-5.7.29-linux-glibc2.12-x86_64.tar.gz -C /opt

2021-06-12 20:00:58 416 1

原创 Hadoop 介绍及集群搭建

Hadoop 介绍及集群搭建第一章 Hadoop 介绍1.2 Hadoop 架构演变1.2.1 1.x版本架构模型介绍1.2.2 2.x版本的架构模型1.2.3 3.x 版本架构和模型介绍第二章 Hadoop 集群搭建2.1 环境准备2.2 Hadoop 安装包介绍2.3 集群配置规划2.4 Hadoop 配置2.4.1 修改 hadoop-env.sh2.4.2 修改 core-site.xml2.4.3 修改 hdfs-site.xml2.4.4 修改 mapred-site.xml2.4.5 修改

2021-06-09 10:57:03 1800 1

原创 zookeeper 集群搭建及Shell操作

zookeeper 集群搭建及操作一、搭建准备二、修改配置三、启动步骤四、客户端的基本操作五、常用的 shell 操作命令六、zookeeper的watch机制七、zookeeper集群leader的选举机制一、搭建准备① 下载 zookeeeper 的压缩包，我们在此处使用版本为 3.4.6zookeeper官网② 准备三台服务器1.117.160.11.117.160.21.117.160.3③ 将安装包上传到 3 台服务器，并解压安装包到指定的目录# 进入到自定义的目录cd

2021-06-06 21:43:01 1425 4

半吊子Kyle的博客