大数据期末项目——数据存储步骤:Hive中的数据存储

这篇博客记录了在虚拟机的伪分布式环境中,通过Hadoop平台将CSV文件上传并存储到Hive数据库的过程。首先解决启动Hadoop时遇到的网络问题,然后对CSV文件进行预处理,最后成功导入Hive并进行数据操作。项目实践涉及到Hadoop、Spark和Hive的协同使用。
摘要由CSDN通过智能技术生成

前言:本篇笔记记录在虚拟机中通过hadoop平台上传CSV文件至hive数据库的操作过程,结尾附相关项目的实践原博文


虚拟机开机密码1234

前置条件:(装有hadoop、spark、tomcat平台的伪分布式节点虚拟机(来自于老师资源))安装vmware-tools,共享share文件夹/mnt/hdfs/share,放入数据文件;

注意:hadoop中创建的目录路径为/file/movie_data,即所有文件路径均为**/file/movie_data/*.csv,与博客中/home/master/mycode/new_movies_load.csv"有出入

一、启动hadoop

systemctl stop firewalld #关闭防火墙,此处需要输root密码123456

start-all.sh #启动hadoop集群

#stop-all.sh 关闭hadoop

浏览器打开第二个节点的服务器网址localhost:50090 显示hadoop
在这里插入图片描述
在这里插入图片描述

网卡报错

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值