HIVE--电影实践一（环境准备）

最新推荐文章于 2024-08-02 17:15:51 发布
最新推荐文章于 2024-08-02 17:15:51 发布
阅读量378 收藏
点赞数
文章标签： HDFS 文件上传 电影数据 CSV 命令行操作
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_61786801/article/details/124738123
版权

创建文件夹存放电影数据文件：

(mkdir为创建文件命令)

hdfs dfs -mkdir /cc-movies

从本地上传文件到hdfs：

（CopyFromLocal为文件上传方式，前面为文件本地路径，后面为文件hdfs目录）

hdfs dfs -CopyFromLocal /home/hadoop/文档/moviesdata/movies.csv /cc-movies/

hdfs dfs -CopyFromLocal /home/hadoop/文档/moviesdata/ratings.csv /cc-movies/

hdfs dfs -CopyFromLocal /home/hadoop/文档/moviesdata/links.csv /cc-movies/

hdfs dfs -CopyFromLocal /home/hadoop/文档/moviesdata/tags.csv /cc-movies/

查看文件是否上传成功：

hdfs dfs -ls /cc-movies

用力敲敲敲•̀_•́
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
Hive 之 影评案例
肖恩的博客
08-06 982
现有如此三份数据： 1、users.dat 数据格式为： 2::M::56::16::70072 对应字段为：UserID BigInt, Gender String, Age Int, Occupation String, Zipcode String 对应字段中文解释：用户id，性别，年龄，职业，邮政编码 2、movies.dat 数据格式为： 2::Jumanji (1995)::...
大数据HIve+Sqoop实训报告（上）
qq_Lisa的博客
07-14 1431
（一）将MongoDB里面爬取的数据导出来，以csv的形式存放在自己指定的目录下面。 1、因为我只有一个C盘，所以要以管理员的身份进入cmd，否则就没有权限访问，报错。 2、在MongoDB的bin目录下输入 mongoexport.exe -h localhost:27017 --type=csv -f _id,name,salary,company,adds,experience,edu,job_content,job_request -d job_db -c job_collection -o 5
HIVE--电影实践三（执行相关查询）
qq_61786801的博客
05-28 359
查询哪种电影类型最多（利用两次查询）： 利用切片将电影类型进行分割： SELECT explode(split(genres,'\\|'))as type from movies； 利用计数统计最多的电影类型： SELECT type,COUNT(1) FROM( SELECT explode(split(genres,'\\|'))as type from movies )t GROUP BY type ORDER BY type DESC; 查询评分最高的电影： 先求电影平均分：
[Hive]一、大数据技术之Hive
weixin_44428807的博客
05-22 1420
Hive是由Facebook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据映射为一张表，并提供类SQL查询功能。 Hive的本质是一个Hadoop客户端，用于将HQL（HiveSQL）转化成MapReduce程序。 （1）Hive中每张表的数据存储在HDFS （2）Hive分析数据底层的实现是MapReduce（也可以配置为Spark或者Tez引擎） （3）执行程序运行在Yarn上（1）Hive客户端：CLI（command-line i
2023-Hive必备详细教程
ytp552200ytp的博客
04-28 1728
2023-Hive必备详细教程
大数据-数仓-数仓工具：Hive（离线数据分析框架）【替代MapReduce编程；插入、查询、分析HDFS中的大规模数据；机制是将HiveSQL转化成MR程序；不支持修改、删除操作；执行延迟较高】
u013250861的博客
01-14 840
Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。Hive十分适合对数据仓库进行统计分析。Hive数据仓库⎩⎨。
Hive基础调优详解
ytp552200ytp的博客
08-24 506
本文基本涵盖以下内容： 一、基于Hadoop的数据仓库Hive基础知识 二、HiveSQL语法 三、Hive性能优化 四、Hive性能优化之数据倾斜专题 五、HiveSQL优化十二板斧 六、Hive面试题(一) 七、Hive/Hadoop高频面试点集合(二) 基于Hadoop的数据仓库Hive基础知识 Hive是基于Hadoop的数据仓库工具，可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理，提供了类似于SQL语言的
【Hive知识体系详细教程】
qq1196676009的博客
02-10 1380
Hive涉及的知识点如下图所示，本文将逐一讲解： 正文开始： 一. Hive概览 1.1 hive的简介 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 其本质是将SQL转换为MapReduce/Spark的任务进行运算，底层由HDFS来提供数据的存储，说白了hive可以理解为一个将SQL转换为MapReduce/Spark的任务的工具，甚至更进一步可以说hive就是一个MapReduce/Spark Sql的客户端 为什么要使用
Hive 知识体系保姆级教程
云祁QI
10-24 2065
Hive涉及的知识点如下图所示，本文将逐一讲解：正文开始：一. Hive概览1.1 hive的简介Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并...
hive-exec-2.1.1.jar
03-14
hive-exec-2.1.1 是 Apache Hive 的一部分，特别是与 Hive 的执行引擎相关的组件。Apache Hive 是一个构建在 Hadoop 之上的数据仓库基础设施，它允许用户以 SQL（结构化查询语言）的形式查询和管理大型数据集。Hive ...
Apache Hive（hive-storage-2.8.1.tar.gz)
04-26
Apache Hive（hive-storage-2.8.1.tar.gz、hive-storage-2.7.3.tar.gz）是一种分布式容错数据仓库系统，支持大规模分析，并使用 SQL 促进读取、写入和管理驻留在分布式存储中的 PB 级数据。Hive 构建在 Apache ...
hive-jdbc-1.2.1-standalone.jar
10-21
dbeaver-cli.exe客户端连接hive所需要的其中一个jar包 hive-jdbc-1.2.1-standalone.jar
hive-jdbc-3.1.2-standalone
07-18
hive-jdbc-3.1.2-standalone适用于linux
Spring实现自定义注解
东皋长歌的专栏
08-02 219
具体原理网络上一大堆，但是没有看到有人用Spring去实现，其他人实现的基本上都是用了SpringBoot，没有参考意义。希望对你有帮助！
Hadoop、Hive、HBase、数据集成、Scala阶段测试
m0_58050808的博客
07-24 1663
ResourceManager 是 YARN 架构中的核心组件之一，负责接收客户端提交的作业（如 MapReduce 任务、Spark 任务等），并为这些作业分配资源（如内存、CPU）以在集群中的 NodeManager 上执行。spark的任务调度流程：driver端，遇到action算子触发任务执行，将任务提交到有向无环图，DAGscheduler中，根据RDD的血缘关系划分划分stage，将RDD中的分区封装成taskset任务，发送到TASKscheduler。
C# WPF入门学习主线篇（七）—— Label常见属性和事件
weixin_56595425的博客
06-07 1864
在《C# WPF入门学习主线篇（七）—— Label常见属性和事件》一文中，我们详细探讨了 WPF 中 `Label` 控件的常见属性和事件，包括 `Content`、`FontSize`、`Foreground`、`Background` 等属性，以及 `MouseEnter`、`MouseLeave`、`MouseDown` 和 `KeyDown` 等事件。通过丰富的示例代码，本文帮助读者掌握如何自定义 `
【中科院1区】Matlab实现天鹰优化算法AO-RF锂电池健康状态估计算法研究.rar
最新发布
08-02
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
汽车行业数字化转型报告顶层规划设计.docx
08-02
汽车行业数字化转型报告顶层规划设计.docx
hive -e和hive -f区别
03-31
hive -e是执行一条完整的Hive SQL语句，而hive -f是执行一个指定的Hive SQL文件中的所有语句。 具体来说，hive -e后面跟着一条完整的Hive SQL语句，例如： ``` hive -e "select * from mytable where id=1;" ``` ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值