安装和配置Hadoop和HDFS以及模拟生成新能源车辆数据并写入HDFS

目录

前言

一、基本要求

二、准备虚拟机

1.什么是虚拟机？ 

2.虚拟机和Hadoop有什么联系？

三、安装和配置Hadoop和HDFS

1.下载Hadoop

2.解压缩Hadoop

3.配置环境变量

4.配置Hadoop

5.配置HDFS

6.配置节点

7.格式化HDFS

8.启动Hadoop

9.验证安装

​四、安装Python库

五、生成新能源车辆数据并写入文件

1.导入所需的库

2. 生成数据

3.将数据写入到文件

4. 获取文件大小

5. 获取文件名

6.获取文件路径

7.生成数据并写入文件

六、将数据写入HDFS

结语

---

前言

在本篇博客中，将介绍如何使用Python模拟生成新能源车辆数据，并将数据写入HDFS（Hadoop分布式文件系统）中。这样的数据生成和存储过程可以用于各种数据分析和机器学习任务。

本篇博客仅供参考，更多的是自己的学习心得和笔记，希望可以对其他人有帮助。

一、基本要求

• 编写一个程序，每天凌晨3点模拟生成当天的新能源车辆数据（字段信息必须包含：车架号、行驶总里程、车速、车辆状态、充电状态、剩余电量SOC、SOC低报警、数据生成时间等）。

1、最终部署时，要将这些数据写到第一题的HDFS中；

2、车辆数据要按天存储，数据格式是JSON格式，另外如果数据文件大于100M，则另起一个文件存。每天的数据总量不少于300M。比如假设程序是2023-01-1 03点运行，那么就将当前模拟生成的数据写入到HDFS的/can_data/2023-01-01文件夹的can-2023-01-01.json文件中，写满100M，则继续写到can-2023-01-01.json.2文件中，依次类推；

3、每天模拟生成的车辆数据中，必须至少包含20辆车的数据，即要含有20个车架号（一个车架号表示一辆车，用字符串表示）；

4、每天生成的数据中要有少量（20条左右）重复数据（所有字段都相同的两条数据则认为是重复数据），且同一辆车的两条数据的数据生成时间间隔两秒；

5、每天生成的数据中要混有少量前几天的数据（即数据生成时间不是当天，而是前几天的）。

二、准备虚拟机

下载网址：VMware Workstation Player | VMware

下载教程可在网上搜索一下~