【手把手机器学习入门到放弃】从线性回归开始

最新推荐文章于 2020-01-28 12:37:24 发布
最新推荐文章于 2020-01-28 12:37:24 发布
阅读量286 收藏
点赞数 1
分类专栏： 手把手机器学习 实战区 文章标签： 线性回归 python 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yao09605/article/details/102725146
版权
本文以墨尔本房价为研究对象，通过线性回归模型进行数据分析。选择house类型的房屋，考虑rooms, Date, Distance, Bedroom2, Bathroom, YearBuilt等变量。处理缺失值，去除不相关变量后，建立模型并训练。最终计算误差指标，展示预测结果，作为初学者入门项目。" 123594940,5107219,力扣17：电话号码字母组合的深度优先搜索解法,"['算法', '深度优先遍历', 'LeetCode', '电话号码', '字符串处理']
摘要由CSDN通过智能技术生成

终于开新坑了～

线性回归是指将数据拟合成 y = a 1 x 1 + a 2 x 2 + a 3 x 3 . . . + a n x n + b + ϵ y=a_1x_1+a_2x_2+a_3x_3...+a_nx_n+b +\epsilon y=a1​x1​+a2​x2​+a3​x3​...+an​xn​+b+ϵ的形式
通过训练模型获得参数 a_1, a_2, …, a_n, b
从而对新的x值，可以预测y
下面正式开始～本期分析的是墨尔本的房价

文章目录

import pandas as pd
import seaborn as sns
import numpy as np
import matplotlib.pyplot as plt
# 线性回归
from sklearn.linear_model import LinearRegression
# 数据分割
from sklearn.model_selection import train_test_split
from datetime import date

1. 数据集描述

Melbourne Housing Market

Some Key Details

  • Suburb: Suburb

  • Address: Address

  • Rooms: Number of rooms

  • Price: Price in dollars

  • Method: S - property sold; SP - property sold prior; PI - property passed in; PN - sold prior not disclosed; SN - sold not disclosed; NB - no bid; VB - vendor bid; W - withdrawn prior to auction; SA - sold after auction; SS - sold after auction price not disclosed. N/A - price or highest bid not available.

  • Type: br - bedroom(s); h - house,cottage,villa, semi,terrace; u - unit, duplex; t - townhouse; dev site - development site; o res - other residential.

  • SellerG: Real Estate Agent

  • Date: Date sold

  • Distance: Distance from CBD

  • Regionname: General Region (West, North West, North, North east …etc)

  • Propertycount: Number of properties that exist in the suburb.

  • Bedroom2 : Scraped # of Bedrooms (from different source)

  • Bathroom: Number of Bathrooms

  • Car: Number of carspots

  • Landsize: Land Size

  • BuildingArea: Building Size

  • YearBuilt: Year the house was built

  • CouncilArea: Governing council for the area

  • Lattitude: Self explanitory

  • Longtitude: Self explanitory

import os
print(os.listdir('datasets'))

['BrentOilPrices.csv', '.DS_Store', 'Iris', 'Lending club loan data', 'Adult', 'Melbourne_housing_extra_data.csv']

2. 数据初探

org_data = pd.read_csv('datasets/Melbourne_housing_extra_data.csv')
org_data.head(10)
SuburbAddressRoomsTypePriceMethodSellerGDateDistancePostcode...BathroomCarLandsizeBuildingAreaYearBuiltCouncilAreaLattitudeLongtitudeRegionnamePropertycount
0Abbotsford68 Studley St2hNaNSSJellis3/09/20162.53067.0...1.01.0126.0NaNNaNYarra-37.8014144.9958Northern Metropolitan4019.0
1Abbotsford85 Turner St2h1480000.0SBiggin3/12/20162.53067.0...1.01.0202.0NaNNaNYarra-37.7996144.9984Northern Metropolitan4019.0
2Abbotsford25 Bloomburg St2h1035000.0SBiggin4/02/20162.53067.0...1.00.0156.079.01900.0Yarra-37.8079144.9934Northern Metropolitan4019.0
3Abbotsford18/659 Victoria St3uNaNVBRounds4/02/20162.53067.0...2.01.00.0NaNNaNYarra-37.8114145.0116Northern Metropolitan4019.0
4Abbotsford5 Charles St3h1465000.0SPBiggin4/03/20172.53067.0...2.00.0134.0150.01900.0Yarra-37.8093144.9944Northern Metropolitan4019.0
5Abbotsford40 Federation La3h850000.0PIBiggin4/03/20172.53067.0...2.01.094.0NaNNaNYarra-37.7969144.9969Northern Metropolitan4019.0
6Abbotsford55a Park St4h1600000.0VBNelson4/06/20162.53067.0...1.02.0120.0142.02014.0Yarra-37.8072144.9941Northern Metropolitan4019.0
7Abbotsford16 Maugie St4hNaNSNNelson6/08/20162.53067.0...2.02.0400.0220.02006.0Yarra-37.7965144.9965Northern Metropolitan4019.0
8Abbotsford53 Turner St2hNaNSBiggin6/08/20162.53067.0...1.02.0201.0NaN1900.0Yarra-37.7995144.9974Northern Metropolitan4019.0
9Abbotsford99 Turner St2hNaNSCollins6/08/20162.53067.0...2.01.0202.0NaN1900.0Yarra-37.7996144.9989Northern Metropolitan4019.0

10 rows × 21 columns

# 查看变量类型：
org_data.dtypes

Suburb            object
Address           object
Rooms              int64
Type              object
Price            float64
Method            object
SellerG           object
Date              object
Distance         float64
Postcode         float64
Bedroom2         float64
Bathroom         float64
Car              float64
Landsize         float64
BuildingArea     float64
YearBuilt        float64
CouncilArea       object
Lattitude        float64
Longtitude       float64
Regionname        object
Propertycount    float64
dtype: object

3. 为了使模型简单，我们就选取type是h（house）类型的房子，选取的变量有rooms,Date,Distance,Landsize, Bedroom2, Bathroom, YearBuilt几个变量

dataframe = org_data[org_data["Type"]=='h'].loc[:,["Rooms","Date","Distance","Landsize","Bedroom2","Bathroom","YearBuilt","Price"]]

dataframe.head()
RoomsDateDistanceLandsizeBedroom2BathroomYearBuiltPrice
023/09/20162.5126.02.01.0NaNNaN
123/12/20162.5202.02.01.0NaN1480000.0
224/02/20162.5156.02.01.01900.01035000.0
434/03/20172.5134.03.02.01900.01465000.0
534/03/20172.594.03.02.0NaN850000.0
dataframe.shape

(12992, 8)

4. 去除Price列为null值的数据

dataframe = dataframe.dropna(subset=['Price'])

dataframe.head()
RoomsDateDistanceLandsizeBedroom2BathroomYearBuiltPrice
123/12/20162.5202.02.01.0NaN1480000.0
224/02/20162.5156.02.01.01900.01035000.0
434/03/20172.5134.03.02.01900.01465000.0
534/03/20172.594.03.02.0NaN850000.0
644/06/20162.5120.03.01.02014.01600000.0
dataframe.shape

(9944, 8)

# 统计缺失值
dataframe.isnull().describe()
RoomsDateDistanceLandsizeBedroom2BathroomYearBuiltPrice
count99449944994499449944994499449944
unique11222221
topFalseFalseFalseFalseFalseFalseTrueFalse
freq99449944993977807978797853529944

5. 将Date处理成与最小日期的天数差

dataframe["Date"] = pd.to_datetime(dataframe["Date"],dayfirst=True)

days_since_start = [(x - dataframe["Date"].min()).days for x in dataframe["Date"]]

dataframe["Days"] = days_since_start

dataframe = dataframe.drop(["Date"], axis=1)
dataframe.head()
RoomsDistanceLandsizeBedroom2BathroomYearBuiltPriceDays
122.5202.02.01.0NaN1480000.0310
222.5156.02.01.0119.01035000.07
432.5134.03.02.0119.01465000.0401
532.594.03.02.0NaN850000.0401
642.5120.03.01.05.01600000.0128

6. 将YearBuilt处理成与当前年份之间的年数差

year_from_now = [(2019 - x) for x in dataframe["YearBuilt"]]

dataframe["YearBuilt"]=year_from_now

dataframe.head()
RoomsDistanceLandsizeBedroom2BathroomYearBuiltPriceDays
122.5202.02.01.0NaN1480000.0310
222.5156.02.01.01900.01035000.07
432.5134.03.02.01900.01465000.0401
532.594.03.02.0NaN850000.0401
642.5120.03.01.02014.01600000.0128

7. 查看各变量非null值的分布

sns.kdeplot(dataframe["Price"])

<matplotlib.axes._subplots.AxesSubplot at 0x1a188c06d8>

在这里插入图片描述

sns.kdeplot(dataframe["Distance"].dropna())

<matplotlib.axes._subplots.AxesSubplot at 0x1a189709b0>

在这里插入图片描述

sns.kdeplot(dataframe["Landsize"].dropna())

<matplotlib.axes._subplots.AxesSubplot at 0x1a18a85710>

在这里插入图片描述

# 检查一下异常值
dataframe[dataframe["Landsize"]>70000]
RoomsDistanceLandsizeBedroom2BathroomYearBuiltPriceDays
119839.275100.03.01.0NaN2000000.0213
17293334.676000.03.02.0NaN1085000.0485
sns.kdeplot(dataframe["Days"].dropna())

<matplotlib.axes._subplots.AxesSubplot at 0x1a18c4b390>

在这里插入图片描述

sns.kdeplot(dataframe["YearBuilt"].dropna())

<matplotlib.axes._subplots.AxesSubplot at 0x1a18bfbe10>

在这里插入图片描述

yearBuilt缺失值过多，且数据质量过差，我们决定放弃这一列

8. 缺失值处理

Distance = dataframe["Distance"]
Distance.fillna(Distance.mean(),inplace=True)
Distance.isnull().describe()

Bedroom2 = dataframe["Bedroom2"]
Bedroom2.fillna(Bedroom2.mean(), inplace=True)
Bedroom2.isnull().describe()

Bathroom = dataframe["Bathroom"]
Bathroom.fillna(Bathroom.mean(), inplace=True)
Bathroom.isnull().describe()

Landsize = dataframe["Landsize"]
Landsize.fillna(Landsize.mean(), inplace=True)
Landsize.isnull().describe()

dataframe = dataframe.drop(["Distance","Landsize","Bedroom2","Bathroom","YearBuilt"], axis=1)

dataframe = pd.concat([dataframe,Distance,Landsize,Bedroom2,Bathroom],axis=1)

dataframe.head()
RoomsPriceDaysDistanceLandsizeBedroom2Bathroom
121480000.03102.5202.02.01.0
221035000.072.5156.02.01.0
431465000.04012.5134.03.02.0
53850000.04012.594.03.02.0
641600000.01282.5120.03.01.0
dataframe.isnull().describe()
RoomsPriceDaysDistanceLandsizeBedroom2Bathroom
count9944994499449944994499449944
unique1111111
topFalseFalseFalseFalseFalseFalseFalse
freq9944994499449944994499449944

9. 绘制矩阵散点图，查看变量间关系

sns.pairplot(dataframe)

<seaborn.axisgrid.PairGrid at 0x1a18ab1128>

在这里插入图片描述

10. 绘制热度图，查看变量相关性

fig, ax = plt.subplots(figsize=(15,15)) 
sns.heatmap(dataframe.corr(), annot=True)

<matplotlib.axes._subplots.AxesSubplot at 0x1a1a8d06d8>

在这里插入图片描述

我们去除和price关系不大的Days 和 Landsize两列

11. 拆分训练集与测试集

X=dataframe.drop(["Price"], axis=1)
y=dataframe["Price"]

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.4)

12. 导入线性回归模型进行训练

lm = LinearRegression()
lm.fit(X_train, y_train)

LinearRegression(copy_X=True, fit_intercept=True, n_jobs=None, normalize=False)

13. 查看拟合参数结果

coeff_df = pd.DataFrame(lm.coef_,X.columns,columns=['Coefficient'])
ranked_suburbs = coeff_df.sort_values("Coefficient", ascending = False)
ranked_suburbs
Coefficient
Bathroom287227.794348
Rooms256960.542449
Days208.567181
Landsize28.455846
Bedroom2-40640.077882
Distance-48979.633196

14. 预测并可视化预测结果

predictions = lm.predict(X_test)

plt.scatter(y_test, predictions)
plt.ylim([200000,1000000])
plt.xlim([200000,1000000])

(200000, 1000000)

在这里插入图片描述

# 查看残差分布
sns.distplot((y_test-predictions),bins=50)
#结果还不错，比较尖

<matplotlib.axes._subplots.AxesSubplot at 0x1a1c31cb00>

在这里插入图片描述

15. 计算 RMSE（均方根误差）、MSE（均方误差）、MAE（平均绝对误差）

from sklearn import metrics

# 1.0 最好，越小越差
print("score:", metrics.explained_variance_score(y_test, predictions))
print("MAE:", metrics.mean_absolute_error(y_test, predictions))
print('MSE:', metrics.mean_squared_error(y_test, predictions))
print('RMSE:', np.sqrt(metrics.mean_squared_error(y_test, predictions)))
print("r^2:", metrics.r2_score(y_test, predictions))

score: 0.31016009739486505
MAE: 406517.11675773124
MSE: 347933550457.3135
RMSE: 589858.9241990948
r^2: 0.31015583638325983

这是一个简单线性回归模型，涉及到了变量空值的填充，和一些变量分布的查看。最后效果一般，受制于线性模型的简单性，且本模型未对变量进行变化。仅作为第一个数据分析项目，熟悉数据分析流程。

希望对读者有帮助

迷迷迷迷路的鹿鹿
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
0.96寸OLED显示屏12864液晶屏模块IIC接口+12864模块+提供原理图.zip
07-31
0.96寸OLED显示屏12864液晶屏模块IIC接口+12864模块+提供原理图.zip
如何用12864液晶显示图片和绘制任意函数图象（打点）
扫地僧
06-13 1万+
本帖最后由 赛伯Man 于 2013-7-30 22:52 编辑 此贴源自：http://bbs.elecfans.com/forum.ph ... 057&highlight=12864 一. 显示图片    显示图片的要点在于：1.取模 2.利用扩展指令设置液晶 3.清楚液晶地址的概念 1.1取模   取模软件用的是“字模221”下图是他的参数设置               
入门机器学习：手把手教你实现简单的算法
最新发布
01-03
图像分类 - 使用机器学习算法对图片进行分类，可以应用于自动识别车辆模型、品类识别、安防等领域。 推荐系统 - 比如在电商平台上，根据用户的历史购买行为和喜好，使用机器学习算法生成个性化推荐，提高用户粘性、...
手把手教你使用Python实现机器学习算法.pdf
06-16
本文“手把手教你使用Python实现机器学习算法”将引导初学者逐步掌握如何利用Python进行机器学习实践。 首先，我们关注的库是`scikit-learn`（简称sklearn），这是一个强大的机器学习库，提供了各种预处理、模型...
机器学习入门算法合集，手把手带你玩转机器学习，掌握数学建模要诀
03-30
机器学习算法入门教程（一）: 基于逻辑回归的分类预测 机器学习入门算法（二）: 基于朴素贝叶斯(Naive Bayes)的分类预测 机器学习入门算法（三）：基于鸢尾花和horse-colic数据集的KNN近邻(k-nearest neighbors)...
从零开始入门学习51单片机教程.ppt-综合文档
05-23
从零开始入门学习51单片机教程.ppt
C# 窗体/非窗体视频教程 从入门到精通
06-19
手把手教你怎么一步一步从入门到精通。0基础
【量化笔记】ARCH效应检验及GARCH建模的python实现
热门推荐
yao09605的博客
08-14 1万+
ARCH效应检验 import pandas as pd SHret=pd.read_table('TRD_IndexSum.txt', index_col='Trddt', sep='\t') /Users/yaochenli/anaconda3/lib/python3.7/site-packages/ipykernel_launcher.py:1: FutureWarning: read_...
【量化笔记】使用python捕捉K线图形态
yao09605的博客
08-27 1万+
首先绘制K线图 import pandas as pd ssec2015=pd.read_csv('ssec2015.csv') ssec2015=ssec2015.iloc[:,1:] ssec2015.head() Date Open High Low Close Volume ...
【量化笔记】Markowitz模型的python实现
yao09605的博客
07-28 1万+
Markowitz模型是关于如何选择最佳的投资组合比例的模型 Markowitz模型的数学推导见：https://blog.csdn.net/yao09605/article/details/96318367 下面写下python实现： 选取的五只股票分别是： 600004 白云机场 600015 华夏银行 600023 浙能电力 600033 福建告诉 600183 生益科技 数据可以使用t...
【量化笔记】配对交易
yao09605的博客
08-23 5741
配对交易的步骤 1. 如何挑选进行配对的股票 2. 挑选好股票对以后，如何制定交易策略，开仓点如何设计 3. 开仓是，两只股票如何进行多空仓对比 股票对的选择 1. 行业内匹配 2. 产业链配对 3. 财务管理配对 最小距离法 配对交易需要对股票价格进行标准化处理。假设Pti(t=0,1,2,...,T)P_t^i(t=0,1,2,...,T)Pti​(t=0,1,2,...,T)表示股票i在第t...
【手把手机器学习入门到放弃】sklearn决策树及其调参完全指南
yao09605的博客
11-06 5071
使用sklearn构建决策树，并调优 sklearn学习包里的tree模块实现的就是CART树，但目前不支持离散变量的输入。 from sklearn import tree from sklearn.model_selection import train_test_split import graphviz from sklearn import metrics import pandas a...
【量化笔记】通道突破策略
yao09605的博客
09-01 4405
唐奇安通道 唐奇安通道刻画 通道上界=过去20日内的最高价 通道下界=过去20日内的最低价 中轨道计算公式： 中轨道=通道上界+通道下界2中轨道=\frac{通道上界+通道下界}{2}中轨道=2通道上界+通道下界​ # 使用中国联通的股票数据来刻画唐奇安通道 import pandas as pd import numpy as np import matplotlib.pyplot as plt...
【量化笔记】均线交易策略
yao09605的博客
09-01 3888
简单移动平均数 简单求过去5天的价格平均数 SMAt=5=p1+p2+p3+p4+p55SMA_{t=5}=\frac{p_1+p_2+p_3+p_4+p_5}{5}SMAt=5​=5p1​+p2​+p3​+p4​+p5​​ #计算青岛啤酒的5日简单移动平均线 import pandas as pd import numpy as np import matplotlib.pyplot as pl...
下载Streamsets及各种坑
yao09605的博客
01-28 3160
本人最近在尝试Hadoop上面各种功能，听说Streamsets可以实时同步数据流，尝试下载Streamsets 官网下载：https://streamsets.com/products/dataops-platform/open-source/ 也可以直接复制下面的下载链接 https://archives.streamsets.com/datacollector/3.13.0/tarball/...
【量化笔记】RSI相对强弱指标
yao09605的博客
08-30 3096
RSI标志买方和卖方的相对力量强弱 RSI=100∗UPUP+DOWNRSI=100 * \frac{UP}{UP+DOWN}RSI=100∗UP+DOWNUP​ UP表示t期内股价上涨的平均值，DOWN表示t期内股价下跌的平均值 以交通银行为例进行分析 import pandas as pd import numpy as np import matplotlib.pyplot as plt ...
【体系结构】使用Roofline model 分析GPU性能
yao09605的博客
06-12 2900
Roofline model 评估深度学习模型在GPU上运行的性能 本文使用Roofline model方式评估GeForce RTX 2060和TITAN V两款GPU上分别运行AlexNet以及VGGnet的性能。 GPU性能参数 根据NVDIA官网数据，GeForce RTX 2060 的峰值算力是7.5 TFLOPS，存储器带宽是336GB/s，TITAN V的峰值算力是7.0 TFLO...
【爬虫】scrapy爬取股票历史数据并保存成CSV文档
yao09605的博客
07-05 2812
这个爬虫是接着上个爬虫做的，先送上传送门：https://blog.csdn.net/yao09605/article/details/94596341 我们的目标网址是 http://quotes.money.163.com/trade/lsjysj_股票代码.html 股票代码的来源就是上个爬虫存到mongodb里面的股票列表 先在terminal中新建项目: scrapy startpro...
【手把手机器学习入门到放弃】Random Forest && Extremely Randomized Trees参数全解析
yao09605的博客
11-14 2750
随机森林 Random Forest && Extremely Randomized Trees 多种树有利于提高分类准确率 随机森林 Random Forest 是在决策树的基础上进行两种随机 随机选取一个数据集的一个子集作为样本 随机选取部分特征或者全部特征作为待选择特征库 超随机树 Extremely Randomized Trees 在随机森林的基础上对分裂阀值进...
深度学习Python实战：手把手教你从入门到精通
A Hands-on Introduction》是尼基尔·凯特卡尔（Nikhil Ketkar）撰写的一本书，涵盖了深度学习的基础到进阶知识，包括了机器学习基础、前馈神经网络、Theano的介绍、卷积神经网络、循环神经网络、Keras的入门、随机...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值