【机器学习实战】二、随机森林算法预测出租车车费案例

最新推荐文章于 2023-03-16 23:50:44 发布
最新推荐文章于 2023-03-16 23:50:44 发布
阅读量1.1k 收藏 12
点赞数 1
分类专栏： 机器学习实战 文章标签： 算法 随机森林
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45556665/article/details/128493358
版权

随机森林算法预测出租车车费案例

一、导入第三方库
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import sklearn
二、加载数据集
train = pd.read_csv('train.csv',nrows=1000000) # 加载前1000000条数据
test = pd.read_csv('test.csv')
三、数据分析、清洗
train.shape # 训练集的形状
# 输出：(1000000,8)

test.shape # 测试集的形状
# 输出：(9914, 7)

train.head() # 显示训练集的前五行数据

在这里插入图片描述

test.head() # 显示前5行测试集数据

在这里插入图片描述

train.describe() # 描述训练集

在这里插入图片描述

test.describe() # 描述测试集

在这里插入图片描述
（1）检查数据中是否有空值

train.isnull().sum().sort_values(ascending=True) # 统计空值的数量，根据数量大小排序

在这里插入图片描述

test.isnull().sum().sort_values(ascending=True) #  统计空值数量

在这里插入图片描述

# 删除train中的空值
train.drop(train[train.isnull().any(1)].index, axis=0,inplace=True)
train.shape # 比原始数据减少10行
# 输出 (999990,8)

（2）检查fare_amount列是否有不合法值

train['fare_amount'].describe() # 描述fare_amount

在这里插入图片描述

# 将fare_amount的值小于0的进行统计
from collections import Counter
Counter(train['fare_amount'] < 0 ) # 共计38行车费小于0的数据
# 输出：Counter({False: 999952, True: 38})

# 将这38行数据删除
train.drop(train[train['fare_amount']<0].index,axis=0,inplace=True)
train['fare_amount'].describe()# 查看车费数据

在这里插入图片描述

# 可视化（直方图）：0<票价<100   bins=100 划分为100份 
train[train.fare_amount<100].fare_amount.hist(bins=100,figsize=(14,3)) 
plt.xlabel('fare $')
plt.title('Histogram')

在这里插入图片描述
(3) 检查乘客passenger_count这一列

train['passenger_count'].describe() # 描述passenger_count这一列

在这里插入图片描述

# 查看乘客人数大于6的数据
train[train['passenger_count']>6]

在这里插入图片描述

# 删除离异值
train.drop(train[train['passenger_count']>6].index,axis=0,inplace=True)

(4)检查上车点的经度和纬度
1.纬度范围：-90 ~ 90
2.经度范围：-180 ~ 180

train['pickup_latitude'].describe() # 查看上车点纬度数据（min和max的离异值）

在这里插入图片描述

# 查看纬度小于 -90 的数据
train[train['pickup_latitude']< -90]

在这里插入图片描述

# 查看纬度大于 90 的数据
train[train['pickup_latitude'] > 90]

在这里插入图片描述

# 删除离异值
train.drop(train[(train['pickup_latitude'] > 90) | (train['pickup_latitude'] < -90 )].index, axis= 0 , inplace = True)

train.shape
# 输出：(999939, 8)

train['pickup_longitude'].describe() # 查看上车点的经度数据

在这里插入图片描述

train[train['pickup_longitude'] < - 180]

在这里插入图片描述

# 删除这些数据
train.drop(train[train['pickup_longitude'] < -180 ].index , axis=0 , inplace =True)
train.shape
# 输出：(999928, 8)

（5）检查下车点的经度和纬度

train.drop(train[(train['dropoff_latitude'] < -90 ) | (train['dropoff_latitude'] > 90 )].index, axis=0,inplace=True)

train.drop(train[(train['dropoff_longitude'] < -180 )| (train['dropoff_longitude'] > 180 )].index, axis=0 ,inplace= True)
train.shape
# 输出：(999911, 8)

（6）可视化地图，清理一些离异值

# 在测试集上确定一个区域，删除掉train数据集中不在区域框内的奇异点
# （1）纬度最小值，纬度最大值
min(test.pickup_latitude.min(),test.dropoff_latitude.min()), \
max(test.pickup_latitude.max(),test.dropoff_latitude.max())
# 输出： (40.568973, 41.709555)

# （2）经度最小值，经度最大值
min(test.pickup_longitude.min(), test.dropoff_longitude.min()), \
max(test.pickup_longitude.max(), test.dropoff_longitude.max())
# 输出：(-74.263242, -72.986532)

# （3）根据指定的区域框，删除掉奇异点
def select_within_boundingbox(df,BB):
    return (df.pickup_longitude >= BB[0]) & (df.pickup_longitude <= BB[1]) & \
           (df.pickup_latitude >= BB[2]) & (df.pickup_latitude <= BB[3]) & \
           (df.dropoff_longitude >= BB[0]) & (df.dropoff_longitude <= BB[1]) & \
           (df.dropoff_latitude >= BB[2]) & (df.dropoff_latitude <= BB[3])

BB = (-74.5,-72.8,40.5,41.8)
# 截图
nyc_map = plt.imread('./nyc_-74.5_-72.8_40.5_41.8.png')

BB_zoom = (-74.3, -73.7, 40.5, 40.9) # 放大后的地图
# 截图（放大）
nyc_map_zoom = plt.imread('./nyc_-74.3_-73.7_40.5_40.9.png')

train = train[select_within_boundingbox(train, BB)]# 删除区域框之外的点

train.shape
# 输出：(979018, 8)

# （4）在地图显示这些点

def plot_on_map(df, BB, nyc_map, s=10, alpha=0.2):
    fig, axs = plt.subplots(1, 2, figsize=(16,10))
    # 第一个子图
    axs[0].scatter(df.pickup_longitude, df.pickup_latitude, alpha=alpha, c='r', s=s)
    axs[0].set_xlim(BB[0], BB[1])
    axs[0].set_ylim(BB[2], BB[3])
    axs[0].set_title('PickUp Locations')
    axs[0].imshow(nyc_map, extent=BB)
    
    # 第二个子图
    axs[1].scatter(df.dropoff_longitude, df.dropoff_latitude, alpha=alpha, c='r', s=s)
    axs[1].set_xlim((BB[0], BB[1]))
    axs[1].set_ylim((BB[2], BB[3]))
    axs[1].set_title('Dropoff locations')
    axs[1].imshow(nyc_map, extent=BB)

plot_on_map(train, BB, nyc_map, s=1, alpha=0.3)

在这里插入图片描述

plot_on_map(train, BB_zoom, nyc_map_zoom, s=1, alpha=0.3)

在这里插入图片描述
(7) 检查数据类型

train.dtypes

在这里插入图片描述

# 日期类型转换：key, pickup_datetime

for dataset in [train, test]:
    dataset['key'] = pd.to_datetime(dataset['key'])
    dataset['pickup_datetime'] = pd.to_datetime(dataset['pickup_datetime'])

（8）日期数据进行分析
将日期分隔为： 1.year 2.month 3.day 4.hour 5.day of week

# 增加5列，分别是：year, month, day, hour, day of week

for dataset in [train, test]:
    dataset['year'] = dataset['pickup_datetime'].dt.year
    dataset['month'] = dataset['pickup_datetime'].dt.month
    dataset['day'] = dataset['pickup_datetime'].dt.day
    dataset['hour'] = dataset['pickup_datetime'].dt.hour
    dataset['day of week'] = dataset['pickup_datetime'].dt.dayofweek
train.head()

在这里插入图片描述

test.head()

在这里插入图片描述
（9）根据经纬度计算距离

# 计算公式

def distance(lat1, long1, lat2, long2):
    data = [train, test]
    for i in data:
        R = 6371  # 地球半径（单位：千米）
        phi1 = np.radians(i[lat1])
        phi2 = np.radians(i[lat2])
    
        delta_phi = np.radians(i[lat2]-i[lat1])
        delta_lambda = np.radians(i[long2]-i[long1])
    
        #a = sin²((φB - φA)/2) + cos φA . cos φB . sin²((λB - λA)/2)
        a = np.sin(delta_phi / 2.0) ** 2 + np.cos(phi1) * np.cos(phi2) * np.sin(delta_lambda / 2.0) ** 2
    
        #c = 2 * atan2( √a, √(1−a) )
        c = 2 * np.arctan2(np.sqrt(a), np.sqrt(1-a))
    
        #d = R*c
        d = (R * c) # 单位：千米
        i['H_Distance'] = d
    return d

distance('pickup_latitude','pickup_longitude','dropoff_latitude','dropoff_longitude')

在这里插入图片描述

# 统计距离为0，票价为0的数据

train[(train['H_Distance']==0) & (train['fare_amount']==0)]

在这里插入图片描述

# 删除
train.drop(train[(train['H_Distance']==0) & (train['fare_amount']==0)].index, axis=0, inplace=True)

# 统计距离为0，票价不为0的数据

# 原因1：司机等待乘客很长时间，乘客最终取消了订单，乘客依然支付了等待的费用；
# 原因2：车辆的经纬度没有被准确录入或缺失；

len(train[(train['H_Distance']==0) & (train['fare_amount']!=0)])
# 输出：10478

# 删除
train.drop(train[(train['H_Distance']==0) & (train['fare_amount']!=0)].index, axis=0, inplace=True)

（10）新的字段：每公里车费：根据距离、车费，计算每公里的车费

train['fare_per_mile'] = train.fare_amount / train.H_Distance

train.fare_per_mile.describe()

在这里插入图片描述

train.head()

在这里插入图片描述

# 统计每一年的不同时间段的每小时车费

train.pivot_table('fare_per_mile', index='hour', columns='year').plot(figsize=(14, 6))
plt.ylabel('Fare $/mile')

在这里插入图片描述

四、模型训练和数据预测
train.columns

在这里插入图片描述

test.columns

在这里插入图片描述

X_train = train.iloc[:,[3,4,5,6,7,8,9,10,11,12,13]]
y_train = train.iloc[:,[1]] # fare_amount 车费
X_train.shape
# 输出：(968537, 11)
y_train.shape
# 输出：(968537, 1)
五、随机森林算法实现
from sklearn.ensemble import RandomForestRegressor
rf = RandomForestRegressor()
rf.fit(X_train,y_train)

在这里插入图片描述

test.columns

在这里插入图片描述

rf_predict = rf.predict(test.iloc[:, [2,3,4,5,6,7,8,9,10,11,12]])

submission = pd.read_csv("sample_submission.csv")

submission.head()

在这里插入图片描述

# 提交

submission = pd.read_csv("sample_submission.csv")

submission['fare_amount'] = rf_predict

submission.to_csv("submission_1.csv", index=False)

submission.head()

在这里插入图片描述

敷衍zgf
关注
专栏目录
【数据分析】利用机器学习算法进行预测分析（三）：最近邻（K-Nearest Neighbours）
书山有路，学海无涯。记录成长，追逐梦想
01-18 3455
时间序列预测中的机器学习方法（三）：最近邻（K-Nearest Neighbours）
大数据分析案例-基于随机森林算法预测共享单车租赁数量
最新发布
m0_64336780的博客
03-22 6471
共享单车作为共享经济最早出现的一种形式，极大的改善了人们的生活。现在在城市中可以随处可见的找到共享单车服务点。共享单车一出现就十分火爆，被资本家迅速盯上，产业规模发展迅速。其背后的原因有很多，首先是共享单车使用起来非常的方便快捷，只需要手机上下载app即可使用，有效解决了“最后一公里”的难题；其次是共享单车的出现一定程度上减少了机动车的使用量，进而减少了尾气的排放，实现了低碳环保，减少对空气的污染，也让我们的生活更加环保，同时也得到了政府的大力支持。
飞桨机器学习最小实现，出租车计费规则预测
小虎博客
09-14 1853
当一个乘客坐完出租车之后，车上的计价器需要算出来该乘客需要支付的乘车费用。想要让机器学习程序通过数据学习出来下面的公式当中的参数 w 和参数 b（这是一个非常简单的示例，所以w和b都是浮点数，随着对深度学习了解的深入，这样，当下次乘车的时候，知道了行驶里程distance_travelled的时候，乘坐出租车的时候，会有一个10元的起步价，只要上车就需要收取。接下来，把问题稍微变换一下，现在知道乘客每次乘坐出租车的公里数，也知道乘客每次下车的时候支付给出租车司机的总费用。
利用机器学习之决策树进行预测分析
weixin_44853798的博客
12-07 2547
机器学习
Kaggle实战入门（三）之纽约出租车价格预测New-York-City-Taxi-Fare-Prediction
kiligso的博客
09-20 4296
今天给大家分享第三个kaggle竞赛项目，纽约出租车价格预测New-York-City-Taxi-Fare-Prediction。这个项目的特点是给到我们的数据集比较大，有5.3G，数据总量是5400W行。不过我们在做这个项目的时候并不需要这么多的数据量，下面我们就一起来看一下这个项目。 Part1.数据导入和初步分析 首先导入我们的数据集，由于数据量过大，我们只导入前500W行的数据进行建模。 import numpy as np import pandas as pd import matplotlib
【机器学习入门】(1) K近邻算法：原理、实例应用（红酒分类预测）附python完整代码及数据集
博观而约取，厚积而薄发
11-14 1万+
各位同学好，今天我向大家介绍一下python机器学习中的K近邻算法。内容有：K近邻算法的原理解析；实战案例--红酒分类预测。红酒数据集、完整代码在文章最下面。那我们开始吧。 1. K近邻算法介绍 1.1 算法原理 原理：如果一个样本在特征空间中的k个最相似（即特征空间中最邻近）的样本中的大多数属于某一个类别，那么该样本也属于这个类别。简单来说就是，求两点之间的距离，看距离谁是最近的，以此来区分我们要预测的这个数据是属于哪个分类。 我们看图来理解一下。蓝色点是属于a类型的样...
基于机器学习的智能出租车预测系统.pdf
09-24
基于机器学习的智能出租车预测系统.pdf
机器学习分类算法之随机森林（集成学习算法）
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
02-11 7299
目录 什么是集成学习？ 随机森林 随机森林的生成算法 随机森林的随机性 随机森林的优势 随机森林的参数详解 随机森林模型提高方法 最大特征数（max_features） 子树的数量（n_estimators）最重要的 最大深度（max_depth） 内部节点再划分所需最小样本数（min_samples_split） 叶子节点最少样本数（min_samples_leaf） 叶子节点最小的样本权重（min_weight_fraction_leaf） 最大叶子节点数（max_leaf.
机器学习（10）-随机森林案例（调参）之公共自行车使用量预测
blaank的博客
05-17 5752
随机森林案例之公共自行车使用量预测1. 前言1.1 背景介绍1.2 任务类型1.3 数据文件说明1.4 数据变量说明1.5 评估方法2. 数据预处理2.1 观察数据有没有缺失值2.2 观察每个变量的基础描述信息2.3 查看相关系数3. 模型训练及其结果展示3.1 标杆模型：简单线性回归模型3.2 决策树回归模型3.3 随机森林回归模型3.4 随机森林回归模型调参过程说明3.4.1 RF Bagging框架参数3.4.2 RF决策树参数3.4.3 RF调参3.5 随机森林回归模型调参3.5.1 使用grid
机器学习实战案例：使用随机森林/XGBoost等模型进行分类预测，提高银行营销活动效率
Yann_YU的博客
12-29 8317
1. 项目背景介绍 在这篇文章中，我们将使用 Python 搭建逻辑回归（Logistic Regression），随机森林（Random Forest），XGBoosting，Bagging，KNN (K-Nearest Neighbors) ，神经网络（Neural Network）等6种机器学习/深度学习模型，对某个银行的营销活动数据集进行分类预测，尝试找出那些潜在客户。 银行通常会打电话给一些潜在客户来销售一些存款/投资产品，这些投资产品会使银行获得更多利润以及资金的灵活性，因此银行希望能定位那些会
纽约市出租车费用预测：Kaggle竞争，以建立模型来预测纽约市出租车费
02-17
纽约市出租车票价预测 Kaggle竞赛建立了一个预测纽约市出租车费率的模型。
机器学习：基于随机森林(RFC)对酒店预订分析预测
阿极的博客
03-07 3502
在机器学习中，随机森林是一个包含多个决策树的分类器， 并且其输出的类别是由个别树输出的类别的众数而定。 Leo Breiman和Adele Cutler发展出推论出随机森林的算法。 而 "Random Forests" 是他们的商标。 这个术语是1995年由贝尔实验室的Tin Kam Ho所提出的随机决策森林（random decision forests）而来的。这个方法则是结合 Breimans 的 "Bootstrap aggregating" 想法和 Ho 的"random subspace met
Educoder 机器学习之随机森林算法 第2关：随机森林算法流程
m0_56494324的博客
11-23 4189
第2关：随机森林算法流程 任务描述 本关任务：补充 python 代码，完成 RandomForestClassifier 类中的 fit 和 predict 函数。请不要修改 Begin-End 段之外的代码。 相关知识 为了完成本关任务，你需要掌握随机森林的训练与预测流程 随机森林的训练流程 随机森林是 Bagging 的一种扩展变体，随机森林的训练过程相对与 Bagging 的训练过程的改变有： 基学习器： Bagging 的基学习器可以是任意学习器，而随机森林则是以决策树作为基学习器。
AI：23-Bagging策略和随机森林的应用以及线性回归与局部加权回归三种实例（线性回归、AdaBoost、GradientBoostingRegressor）【机器学习】
一键难忘的博客
11-29 2109
bootstrap aggregation 有放回抽样集合从样本集中重采样（有重复的）选出n个样本在所有属性上，对这n个样本建立分类器（ID3、C4.5、CART、SVM、Logistic回归等）重复以上两步m次，即获得了m个分类器将数据放在m个分类器上，最后根据m个分类器的投票结果，决定数据属于哪一类。
机器学习知识经验分享之四：随机森林预测二手车价格（已实现预测代码）
m0_70388905的博客
11-27 1749
机器学习知识经验分享之四：随机森林预测二手车价格（已实现预测代码）
python平台 租用_python数据分析实例：共享单车租用影响因素和预测
weixin_39524834的博客
12-06 1281
目录一. 提出问题(Business Understanding )近年来，共享经济热潮遍及全球，其中最成功的项目就是共享单车。‘共享’为我们的生活提供了极大的便利，同时也不可避免的出现资源不足或过剩的情况，如共享单车的企业采取合适的单车投放量成为重中之重。今天，我们就探讨一下影响共享单车租用量的各种因素。2. 理解数据(Data Understanding)2.1采集数据2.2导入数据2.3查看...
Transbigdata——交通出租车大数据可视化分析，以成都市为例
热门推荐
liu1048332962的博客
03-16 1万+
本文受transbigdata中出租车的案例启发，对成都市的某日出租车数据进行分析与可视化
​【机器学习】交通数据的时间序列分析和预测实战
fengdu78的博客
12-06 6978
今天又给大家带来一篇实战案例，本案例旨在运用之前学习的时间序列分析和预测基础理论知识，用一个实际案例数据演示这些方法是如何被应用的。本文较长，建议收藏！由于篇幅限制，文内精简了部分代码，但...
【Kaggle】纽约市出租车费预测（经典）
myaijarvis notebook
04-12 3448
【参考：New York City Taxi Fare Prediction | Kaggle】 【参考：美国纽约市出租车大数据探索-基于kaggle比赛_@Irene的博客-CSDN博客】这个参考较多 代码【参考：2 机器学习实战 纽约出租车车费预测_哔哩哔哩_bilibili】 【参考：Kaggle-纽约市出租车费预测_qq_28584559的博客-CSDN博客】 import numpy as np import pandas as pd import matplotlib.pyplot as plt
Spark分布式随机森林算法：原理、源码解析与实战
"Spark随机森林算法原理、源码分析及案例实战" 随机森林是一种集成学习方法，它通过构建多个决策树并结合它们的预测结果来提高整体的预测准确性和鲁棒性。决策树算法本身简单易懂，但在面对大规模数据时，单机环境...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

敷衍zgf

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值