MapReduce共享单车练习

已于 2023-06-12 10:23:29 修改
阅读量1.5k 收藏 13
点赞数 1
分类专栏： 大数据开发技术 文章标签： mapreduce eclipse java 大数据 centos
于 2023-06-11 00:59:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52357217/article/details/131148617
版权

MapReduce 本机运行

文章目录


自行车共享系统是租赁自行车的一种新模式，客户通过整个城市的自助服务终端网络实现自动获得会员资格、租赁和返还自行车，全过程无需他人的参与。自行车共享系统生成的数据明确记录了旅行的时间，出发地点，和到达地点。因此，自行车共享系统作为传感器网络，可用于研究城市中的移动性。

附件1：train.csv（共11个字段，5422条数据）给出了某共享单车2011年1月-2011年12月实际气象参数、天气、季节、假期等数据记录。主要包括以下内容：

列名类型说明示例
idstring数据唯一标识10886
datetimestring数据记录时间(s)2011/12/100:00
seasonint数据记录季度1
holidayboolean数据记录假期0
workingdayboolean数据记录工作日1
weatherint数据记录天气3
tempfloat温度（0.01℃）10.66
humidityint湿度56
windspeedfloat风速26.0027
registeredint注册数量10
countint总数13

附件2：weather列说明

Weather列数据说明
1晴朗，很少云，部分多云，部分多云
2小雪，小雨+雷电+少云，小雨+少云
3雾+多云，薄雾+少云，薄雾+少量云雾，雾
4大雨+冰雹+雷电+雾，雪+雾

✅前置工作

传入src代码包，可以使用XFTP工具进行上传

cd /home/hadoop/
mkdir workSpace
mv src/ workSpace
cd /usr/local/eclipse

# 启动eclipse
./eclipse

1. 配置JDK

  1. 打开eclipse后 → \rightarrow →点击Window → \rightarrow →点击Preference
    image-20230610191611549

  2. 在搜索框中输入 jre → \rightarrow →点击Installed JREs → \rightarrow →点击Add…
    image-20230610235627582

  3. 点击Standard VM
    image-20230610191817636

  4. 找到自己的JDK安装路径
    image-20230610191843190

  5. 勾选JDK
    image-20230610191929230

2. 创建Java项目

  1. 点击Create a project
    image-20230610191150078

  2. 选择Java Project
    image-20230610191232369

  3. 创建一个项目名为 ShareBike 的项目
    image-20230610192050728

  4. 在src下创建entity包
    image-20230610192420143

3. 导入所需JAR包

  1. 选中 ShareBike 项目 → \rightarrow →右键点击Properties
    image-20230610204039589

  2. 点击Java Build Path → \rightarrow →点击Add External JARs…
    image-20230610204146984

  3. 选中导入 /usr/local/hadoop/share/hadoop/common/ 中的全部jar包
    image-20230610204344850

  4. 选中导入 /usr/local/hadoop/share/hadoop/common/lib/ 中的全部jar包
    image-20230610204437522

  5. 选中导入 /usr/local/hadoop/share/hadoop/hdfs/ 下的全部jar包
    image-20230610204522014

  6. 选中导入 /usr/local/hadoop/share/hadoop/hdfs/lib 下的全部jar包
    image-20230611001206648

  7. 选中导入 /usr/local/hadoop/share/hadoop/mapreduce/ 下的全部jar包
    image-20230610204634824

  8. 选中导入 /usr/local/hadoop/share/hadoop/mapreduce/lib/ 下的全部jar包
    image-20230610204712964

  9. 选中导入 /usr/local/hadoop/share/hadoop/yarn/ 下的全部jar包
    image-20230610204807484

编程实现以下题目

1. 统计各个月份共享单车使用的总数

  1. 把 train1.csv 上传到HDFS的 /user/hadoop/input 文件夹中

    # 在HDFS的/user/hadoop中创建一个input文件夹
hdfs dfs -mkdir /user/hadoop/input

# 把当前目录中的train1.csv文件上传到input文件夹下
hdfs dfs -put train1.csv /user/hadoop/input

  2. 把代码中的 sharedbikecountbymonth/ 文件夹复制到eclipse的src工作目录下

  3. 然后把 SharedBikeCountByMonth.java 其中的代码路径代码改成下面的代码

    // 6 设置输入输出路径
FileInputFormat.setInputPaths(job, new Path("hdfs://localhost:9000/input/train1.csv"));
FileOutputFormat.setOutputPath(job, new Path("hdfs://localhost:9000/output"));

// 修改后的代码如下
FileInputFormat.setInputPaths(job, new Path("hdfs://localhost:9000/user/hadoop/input/train1.csv"));
FileOutputFormat.setOutputPath(job, new Path("hdfs://localhost:9000/user/hadoop/output"));
    image-20230610210229115

  4. 在运行程序前需要先删除HDFS中的output目录，否则会运行失败

    hdfs dfs -rm -r /user/hadoop/output

  5. 然后运行如下代码查看结果

    hdfs dfs -cat /output/part-r-00000
    image-20230610214947695

2. 统计不同天气情况下共享单车使用的总数

  1. 在运行程序前需要先删除HDFS中的output目录，否则会运行失败

    hdfs dfs -rm -r /user/hadoop/output
    image-20230610222557547

  2. 按下 Ctrl+C 复制 sharedbikecountbyweather 文件夹，到eclipse的src工作目录下按下 Ctrl+V 粘贴
    image-20230610222641870

  3. 依旧修改代码

    // 6 设置输入输出路径
FileInputFormat.setInputPaths(job, new Path("hdfs://localhost:9000/input/train1.csv"));
FileOutputFormat.setOutputPath(job, new Path("hdfs://localhost:9000/output"));

// 修改后的代码如下
FileInputFormat.setInputPaths(job, new Path("hdfs://localhost:9000/user/hadoop/input/train1.csv"));
FileOutputFormat.setOutputPath(job, new Path("hdfs://localhost:9000/user/hadoop/output"));
    image-20230610223607476

  4. 运行该程序，出现下方情况即为成功
    image-20230610223607476

  5. 然后运行如下代码查看结果

    hdfs dfs -cat /output/part-r-00000
    image-20230610224529276

3. 统计每个季度共享单车使用的总数

  1. 在运行程序前需要先删除HDFS中的output目录，否则会运行失败

    hdfs dfs -rm -r /user/hadoop/output
    image-20230610222557547

  2. 按下 Ctrl+C 复制 sharedbikecountbyseason 文件夹，到eclipse的src工作目录下按下 Ctrl+V 粘贴
    image-20230610225305716

  3. 依旧修改代码

    // 6 设置输入输出路径
FileInputFormat.setInputPaths(job, new Path("hdfs://localhost:9000/input/train1.csv"));
FileOutputFormat.setOutputPath(job, new Path("hdfs://localhost:9000/output"));

// 修改后的代码如下
FileInputFormat.setInputPaths(job, new Path("hdfs://localhost:9000/user/hadoop/input/train1.csv"));
FileOutputFormat.setOutputPath(job, new Path("hdfs://localhost:9000/user/hadoop/output"));
    image-20230610223607476

  4. 运行该程序，出现下方情况即为成功
    image-20230610225759607

  5. 然后运行如下代码查看结果

    hdfs dfs -cat /output/part-r-00000
    image-20230610231816916

4. 统计每个月份的注册数量

  1. 在运行程序前需要先删除HDFS中的output目录，否则会运行失败

    hdfs dfs -rm -r /user/hadoop/output
    image-20230610222557547

  2. 按下 Ctrl+C 复制 sharedbikecountbyregistered 文件夹，到eclipse的src工作目录下按下 Ctrl+V 粘贴
    image-20230610232543204

  3. 依旧修改代码

    // 6 设置输入输出路径
FileInputFormat.setInputPaths(job, new Path("hdfs://localhost:9000/input/train1.csv"));
FileOutputFormat.setOutputPath(job, new Path("hdfs://localhost:9000/output"));

// 修改后的代码如下
FileInputFormat.setInputPaths(job, new Path("hdfs://localhost:9000/user/hadoop/input/train1.csv"));
FileOutputFormat.setOutputPath(job, new Path("hdfs://localhost:9000/user/hadoop/output"));
    image-20230610223607476

  4. 运行该程序，出现下方情况即为成功
    image-20230610232807666

  5. 然后运行如下代码查看结果

    hdfs dfs -cat /output/part-r-00000
    image-20230610232903121

5. 统计每天12:00-15:00时间段内的共享单车的使用总数

  1. 在运行程序前需要先删除HDFS中的output目录，否则会运行失败

    hdfs dfs -rm -r /user/hadoop/output
    image-20230610222557547

  2. 按下 Ctrl+C 复制 sharedbikecountbytime 文件夹，到eclipse的src工作目录下按下 Ctrl+V 粘贴
    image-20230610233234707

  3. 依旧修改代码

    // 6 设置输入输出路径
FileInputFormat.setInputPaths(job, new Path("hdfs://localhost:9000/input/train1.csv"));
FileOutputFormat.setOutputPath(job, new Path("hdfs://localhost:9000/output"));

// 修改后的代码如下
FileInputFormat.setInputPaths(job, new Path("hdfs://localhost:9000/user/hadoop/input/train1.csv"));
FileOutputFormat.setOutputPath(job, new Path("hdfs://localhost:9000/user/hadoop/output"));
    image-20230610223607476

  4. 运行该程序，出现下方情况即为成功
    image-20230610233431832

  5. 然后运行如下代码查看结果

    hdfs dfs -cat /output/part-r-00000
    image-20230610234009031

6. 统计不同温度（取整）下共享单车的使用总数（如24度100）

  1. 在运行程序前需要先删除HDFS中的output目录，否则会运行失败

    hdfs dfs -rm -r /user/hadoop/output
    image-20230610222557547

  2. 按下 Ctrl+C 复制 sharedbikecountbytemp 文件夹，到eclipse的src工作目录下按下 Ctrl+V 粘贴
    image-20230610234311625

  3. 依旧修改代码

    // 6 设置输入输出路径
FileInputFormat.setInputPaths(job, new Path("hdfs://localhost:9000/input/train1.csv"));
FileOutputFormat.setOutputPath(job, new Path("hdfs://localhost:9000/output"));

// 修改后的代码如下
FileInputFormat.setInputPaths(job, new Path("hdfs://localhost:9000/user/hadoop/input/train1.csv"));
FileOutputFormat.setOutputPath(job, new Path("hdfs://localhost:9000/user/hadoop/output"));

    image-20230610223607476>

  4. 运行该程序，出现下方情况即为成功
    image-20230610234541752

  5. 然后运行如下代码查看结果

    hdfs dfs -cat /output/part-r-00000
    image-20230610234638178
sarexpine
关注
专栏目录
MapReduce处理公共自行车数据
Cairong530的博客
10-17 1166
利用Hadoop平台处理公共自行车数据，数据Excel表如下： Excel表中有一列duration表示自行车使用时间，利用MapReduce统计自行车使用时间为60s,120,180s以此类推的使用量。代码如下：Map端：package com.tyut.rcr;import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.i
hadoop中使用MapReduce编程实例（转）
eric的学习笔记
02-18 1500
原文链接：http://www.cnblogs.com/xia520pi/archive/2012/06/04/2534533.html 从网上搜到的一篇hadoop的编程实例，对于初学者真是帮助太大了，看过以后对MapReduce编程基本有了大概的了解。看了以后受益匪浅啊，赶紧保存起来。   1、数据去重 　　 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选...
共享单车之数据分析-统计共享单车每天的平均使用时间
m0_58245389的博客
05-22 1640
任务描述本关任务：使用的对已经存在 Hbase 的共享单车运行数据进行分析，统计共享单车每天的平均使用时间，其中共享单车运行数据在的表中（表结构可在编程要求中进行查看）。相关知识为了完成本关任务，你需要掌握：如何配置的类是运行在上的一个并行计算框架，分为节点和节点。提供了的和两个方法来完成的配置。initTableMapperJob 方法: initTableReducerJob 方法:
数据架构师学习+爬下6万共享单车数据并进行分析
洋葱专栏-有灵魂的程序员
02-02 2698
1、从小白到大数据架构师的学习历程 https://mp.weixin.qq.com/s/pw1EqLXTzrc86x9odTXKkQ 大数据处理技术怎么学习呢？首先我们要学习Python语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。 Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会
共享单车之数据分析第1关：统计共享单车每天的平均使用时间
m0_58772685的博客
11-25 3783
共享单车之数据分析 第1关：统计共享单车每天的平均使用时间
mapreduce练习资源
04-03
该资源中中包含MapReduce的练习题，可以是你同过这些练习题更好的掌握MapReduce
word源码java-hadoop-test:hadoop、mapreduce的一些练习
06-05
hadoop、mapreduce的一些练习 包org.dan.service Hadoop RPC练习 包org.dan.mr.wordcount MapReduce单词计数 包org.dan.mr.flowsum MapReduce流量统计 包org.dan.mr.flowsumsort MapReduce流量统计，按总流量排序 包...
共享单车之数据分析 第4关：统计指定时间共享单车使用次数
m0_58772685的博客
11-18 3656
packagecom.educoder.bigData.sharedbicycle; importjava.io.IOException; importjava.util.ArrayList; importorg.apache.commons.lang3.time.FastDateFormat; importorg.apache.hadoop.conf.Configuration; importorg.apache.hadoop.conf.Configured; import...
python共享单车数据分析_利用python分析共享单车项目
weixin_36057741的博客
12-23 5442
目录文章分为以下五大部分项目介绍数据准备数据处理数据分析总结一、项目介绍针对共享租赁时代中比较火的共享单车项目，现分析kaggle提供的国外The Pronto Cycle Share的共享单车数据集。Pronto Cycle Share是一个非牟利组织，在2014年成立，该组织总部西雅图。提出问题：1.Pronto共享单车一天中哪个时间段使用人数最多？工作日和非工作日使用情况？一年中每个月份使用...
共享单车之数据分析第5关：统计共享单车线路流量
m0_58772685的博客
11-25 4204
共享单车之数据分析第5关：统计共享单车线路流量
bike-sharing-data-mining:自行车共享系统是一种租用自行车的方式，通过遍布整个城市的售货亭网络自动完成获得会员资格、租用和自行车归还的过程
06-18
共享单车数据挖掘 自行车共享系统是一种租用自行车的方式，通过遍布整个城市的售货亭位置网络，获得会员资格、租赁和自行车归还的过程是自动化的。 使用这些系统，人们可以从一个地方租一辆自行车，并根据需要将其归还到不同的地方。 目前，全球有超过 500 个共享单车项目。 这些系统生成的数据对研究人员很有吸引力，因为旅行的持续时间、出发地点、到达地点和经过的时间都被明确记录下来。 因此，共享单车系统充当传感器网络，可用于研究城市中的移动性。 在本次比赛中，参与者被要求将历史使用模式与天气数据相结合，以预测华盛顿特区首都共享单车计划的自行车租赁需求 ======================== ###数据字段 日期时间 - 每小时日期 + 时间戳 季节 - 1 = Spring，2 = 夏季，3 = 秋季，4 = 冬季 假期 - 这一天是否被视为假期 工作日 - 这一天是否既不是周末也不是假期
共享单车之数据分析
Junds0的博客
04-26 2806
本关任务：使用Hbase的MapReduce对已经存在Hbase 的共享单车运行数据进行分析，统计共享单车指定车辆每次使用的平均空闲时间，其中共享单车运行数据在Hbase的t_shared_bicycle表中（表结构可在编程要求中进行查看）。本关任务：使用Hbase的MapReduce对已经存在 Hbase 的共享单车运行数据进行分析，统计共享单车每天在指定地点的平均次数，其中共享单车运行数据在Hbase的t_shared_bicycle表中（表结构可在编程要求中进行查看）。
基于PyTorch+LSTM实现共享单车需求预测
CSDN 精品推荐
12-31 2658
自行车共享系统是一种租赁自行车的方式，通过遍布城市的自助服务站网络，获得会员资格、租赁和归还自行车的过程是自动化的。使用这些系统，人们可以从一个地方租用自行车，并根据需要将其归还到不同的地方。目前，全世界有超过500个共享单车项目。
项目分享：基于数据挖掘的共享单车骑行数据分析与预测
最新发布
switch_mooood的博客
07-04 1902
共享单车系统在大城市越来越流行，通过提供价格合理的自行车租赁，让人们可以享受在城市里骑自行车的乐趣，而无需为自己购买自行车。本项目利用 Nice RideMN在双子城（明尼苏达州明尼阿波利斯市/圣保罗市）提供的历史数据。我们将通过查看不同站点的自行车需求、每个站点的自行车流量、季节性和天气对骑行模式的影响，以及会员和非会员之间骑行模式的差异，来探索共享单车骑行数据。
【Hadoop】Hadoop车辆数据存储
A2085354461的博客
06-28 344
本作业通过使用Java代码实现了将车辆数据按天存储到HDFS中的功能，并考虑了数据文件大小超过100M时的分割存储。通过配置Hadoop环境和运行上述代码，可以将数据上传到HDFS中，实现数据的高效存储和管理。
MySQL建表及查询实例
Dorisi_H_n_q的博客
08-23 666
       用MySQL数据库实现“共享单车”项目数据的持久化，核心业务实体主要包括用户（编号、昵称、手机号、所在城市、注册日期）和单车（编号、状态、是否损坏），其他暂不考虑。请写出建表语句和查询每个城市各有多少注册的共享单车用户以及查询使用共享单车次数最多的用户的昵称及其所在城市的SQL语句。 1.建表及表关系： create table tb_city( cityid inte...
面试题集锦
weixin_41948645的博客
10-24 1244
一.Hadoop 1.hdfs写流程 2.hdfs读流程 3.hdfs的体系结构 4.一个datanode 宕机,怎么一个流程恢复 5.hadoop 的 namenode 宕机,怎么解决 6.namenode对元数据的管理 7.元数据的checkpoint 8.yarn资源调度流程 9.hadoop中combiner和partition的作用 10.用mapreduce怎么处理数据倾斜问题？ 11.shuffle 阶段,你怎么理解的 12.Mapreduce 的 map 数量 和 .
斯坦福Phoenix：MapReduce在共享内存环境的应用探索
"Stanford Phoenix 是一个针对共享内存环境实现的MapReduce模型，旨在探讨MapReduce在非传统大规模集群环境中的适用性。该模型源于Google的原始MapReduce编程模型，但被优化以适应共享内存系统，如SMP (Symmetric ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值