所念皆星河115-CSDN博客

原创 Hive实验2:Hive的复杂数据类型、内置函数与自定义函数

目录一. 【实验准备】 1.启动Hadoop集群 2.安装Hive 3.工作目录 4.解压Hive 二. 【实验步骤】Array数据类型的使用 1.创建数据库表 2.导入数据 3.操作表 1）查询表： 2）访问array类型的数据 3）查询array数据类型字段的长度 4）查看表结构 5）查询array中是否包含某个元素三. 【实验步骤】Map数据类型的使用 1.创建数据库表 2.导入数据 3.操作表 1）查询表结构 2）查询表中所有信息 3）查询map中所有信

2021-12-21 20:40:49 1933

原创 Hive实验1：安装部署及常用命令

目录一. 【实验准备】 1.资源文件夹二. 安装Hive及配置环境 1.Hive安装 2.配置环境变量三. 启动Hive执行如下命令启动hive：四.启动Hive 1.工作目录 2.准备数据五. DDL命令 1.数据库操作 1.创建简单数据库 2.查看数据库 3.删除数据库 2.数据表操作 1.建表操作 2.修改表 3.复制一个空表 4.删除表 5.删除分区六.DML命令数据导入有以下几种方法：七.内部表基本操作八.外部表的基本操作九.分区表

2021-12-21 20:31:23 2167

原创 Hadoop实验4：MapReduce编程

目录一. 【实验准备】 1.工作目录 2.打开eclipse并配置工作空间二、准备工作 1. 新建项目 2. 准备测试数据 3. 添加 MapReduce 编程框架三、Map过程四、Reduce过程五、执行MapReduce任务六、实验结果七、准备工作 1. 新建项目 2. 准备relation.dat 3. 添加 MapReduce 编程框架 (1).MyMapper (2).MyReducer (3).MyRunner 八、Map过程九、Red

2021-12-21 20:16:02 3628 1

原创 Hadoop实验3：HDFS编程

目录一. 【实验准备】 1.创建工作目录 2.安装部署Hadoop集群 3.创建eclipse工程二、创建目录 1、相关接口说明 2、完整实验代码 3、运行结果分析三、目录存在性判断 1、相关接口说明 2、完整实验代码 3、运行结果分析四、列出目录中的内容 1、相关接口说明 2、完整实验代码 3、运行结果分析五、删除目录 1、相关接口说明 2、完整实验代码 3、运行结果分析六、创建文件 1、相关接口说明 2、完整实验代码 3、运行结果分析 ..

2021-12-21 20:10:50 1292

原创 Hadoop实验2：HDFS操作

目录一、查看目录二、创建目录三、删除目录四、文件上传五、文件下载六、查看文件内容七、查看文件大小八、复制文件九、重命名/移动文件十、文件权限修改十一、删除文件一、查看目录命令使用格式：hadoop fs -ls 目录名执行效果：二、创建目录使用格式：hadoop fs -mkdir 目录名执行效果：注意事项：如果需要创建多层目录，可以使用参数“-p”。例如创建目录/test/test1/test2/test3，...

2021-12-21 20:03:58 2031

原创 Hadoop实验1：搭建Hadoop集群

目录一、启动Docker容器 1.加载镜像 2.启动实验容器二、配置Hadoop环境 1.配置JAVA环境 2.配置分布式模式 3.配置hosts文件 4.配置SSH无密码登录 5.安装Hadoop并配置环境变量三、配置+集群环境 1.修改文件slaves 2.修改文件core-site.xml 3. 修改文件hdfs-site.xml 4.修改文件mapred-site.xml 5.修改文件yarn-site.xml 四、配置slave节点五、启动Hadoop集.

2021-12-21 19:56:31 1720

qq_60980343的博客