机器学习系列(6)_特征工程03碳排放小案例

已于 2022-04-23 13:58:29 修改
阅读量4.4k 收藏 32
点赞数 3
分类专栏： 【Phthon】 # 【大数据分析】 # 【机器学习】 文章标签： python 机器学习 特征选择
于 2022-04-21 19:18:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wxfighting/article/details/124264072
版权

文章目录

import numpy as np
import pandas as pd
from scipy.cluster.vq import *
import matplotlib.pyplot as plt
from sklearn.manifold import TSNE
from scipy.spatial.distance import cdist
from matplotlib.ticker import MultipleLocator
from matplotlib import style
from sklearn.model_selection import train_test_split 

%matplotlib inline
from scipy import stats, integrate
import seaborn as sns
import matplotlib.pyplot as plt
# seaborn中文乱码解决方案
from matplotlib.font_manager import FontProperties
myfont=FontProperties(fname=r'C:\Windows\Fonts\simhei.ttf',size=20)
sns.set(font=myfont.get_name(), color_codes=True)

####

from sklearn.impute import SimpleImputer
from sklearn.preprocessing import LabelEncoder
from sklearn.preprocessing import OrdinalEncoder
from sklearn.preprocessing import OneHotEncoder
from sklearn.preprocessing import Binarizer
from sklearn.preprocessing import KBinsDiscretizer

from sklearn.feature_selection import VarianceThreshold
from sklearn.ensemble import RandomForestClassifier as RFC
from sklearn.neighbors import KNeighborsClassifier as KNN
from sklearn.model_selection import cross_val_score

from sklearn.tree import export_graphviz
# from sklearn.externals.six import StringIO  #pip install six  from six import StringIO

import pydotplus  #conda install pydotplus
from IPython.core.display import Image

from sklearn.metrics import classification_report
from sklearn.model_selection import train_test_split,cross_val_score


from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2

from sklearn.feature_selection import SelectFromModel
from sklearn.feature_selection import RFE
#
# import graphviz
from sklearn.datasets import load_boston  #准备导入数据集，若无法获取远程，则尽可能将数据存储在本地
from sklearn.model_selection import cross_val_score
from sklearn.tree import DecisionTreeRegressor

lidf=pd.read_excel('lypdata.xlsx')
lidf.iloc[:,1:-1]

在这里插入图片描述
观察上面数据：森林覆盖率产业结构是百分比，与其他列数据的差别较大

一、归一化处理

#最后列保留  lypdata
#实现归一化  三个步骤
from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler() #实例化
scaler = scaler.fit(lidf.iloc[:,1:-1]) #fit，在这里本质是生成min(x)和max(x)
result = scaler.transform(lidf.iloc[:,1:-1]) #通过接口transform导出结果
result  #与result_结果相同,结果都是0-1之间的数据

在这里插入图片描述

#与之前的数据进行合并
lidf22=pd.concat([lidf,pd.DataFrame(result)],axis=1)

lidf22.drop(['年份','经济水平','产业结构','人口规模','城市化水平','能源消费总量','能源结构','电力消费','交通发展水平','森林覆盖率'],axis=1,inplace=True)
lidf22

归一化之后的数据，：
在这里插入图片描述

lidf22.columns=(['碳排放','经济水平','产业结构','人口规模','城市化水平','能源消费总量','能源结构','电力消费','交通发展水平','森林覆盖率'])
lidf22

在这里插入图片描述
对lidf22数据的碳排放量进行分桶：分成三桶


import pandas as pd
label=[0,1,2]
k=3
lidftpf=lidf22['碳排放'].copy()  #函数中一定要使用data！！！去改函数
pingjia=pd.cut(lidftpf,k,labels=label)
pingjia
pd.DataFrame(pingjia).rename(columns={'碳排放':'评价'})

#使用concate进行合并
lidf23=pd.concat([lidf22,pd.DataFrame(pingjia).rename(columns={'碳排放':'评价'})],axis=1)
# 取出碳排放列，使用评价列来表示
lidf23.drop(['碳排放'],axis=1,inplace=True)
lidf23

在这里插入图片描述

# seaborn中文乱码解决方案
from matplotlib.font_manager import FontProperties
myfont=FontProperties(fname=r'C:\Windows\Fonts\simhei.ttf',size=20)
sns.set(font=myfont.get_name(), color_codes=True)

lidf_corr = lidf23.corr()#计算相关性系数
plt.figure(figsize=(20,15))#figsize可以规定热力图大小
fig=sns.heatmap(lidf_corr,annot=True,fmt='.2g')#annot为热力图上显示数据；fmt='.2g'为数据保留两位有效数字
fig

# fig.get_figure().savefig('lidf_corr.png')#保留图片

得到的图片如下，黑色的数据的数值是负数
在这里插入图片描述

data=pd.read_csv("tanpaifang.csv")# 手写体数字特征提取
X=data.iloc[:,1:] # 前面的标签不要

只有16行样本数，特征只有9个

（1）过滤特征

首先使用方差过滤，将相关特征进行过滤：

from sklearn.feature_selection import VarianceThreshold
selector = VarianceThreshold() #实例化，不填参数默认方差为0
X_var0 = selector.fit_transform(X) #获取删除不合格特征之后的新特征矩阵
#也可以直接写成 X = VairanceThreshold().fit_transform(X)
X_var0.shape  #去掉几个？

在这里插入图片描述

#中位值只取四个特征？
import numpy as np
X_fsvar = VarianceThreshold(np.median(X.var().values)).fit_transform(X)  #取出一半特征，如果是TOP N呢？对X.var()进行排序，比方差阈值小的全部去掉
X.var().values
np.median(X.var().values)
X_fsvar.shape

中位数只取3个特征：
在这里插入图片描述

（2）使用KNN和随机森林考察方差过滤对模型的影响：

#01.02 使用KNN和随机森林考察方差过滤对模型的影响
from sklearn.ensemble import RandomForestClassifier as RFC
from sklearn.neighbors import KNeighborsClassifier as KNN
from sklearn.model_selection import cross_val_score
import numpy as np

X=lidf23.iloc[:,:-1] # X是除了评价以外的其他列
y=lidf23.iloc[:,-1] # y是评价列
X_fsvar=VarianceThreshold(np.median(X.var().values)).fit_transform(X)

在这里插入图片描述

（3）考察过滤前后的模型表现

考察过滤前后的模型表现
# KNN方差过滤前  
cross_val_score(KNN(),X,y,cv=5).mean()

在这里插入图片描述

# KNN方差过滤后
cross_val_score(KNN(),X_fsvar,y,cv=5).mean()

在这里插入图片描述
可以看到过滤之后的准确性下降了，连60%都不到。

使用随机森林提升准确度：

cross_val_score(RFC(n_estimators=10,random_state=0),X,y,cv=5).mean()  
cross_val_score(RFC(n_estimators=100,random_state=0),X,y,cv=5).mean()

这里必须使用全部的数据，因为本身数据量就小，如果数据量十分大的话才需要使用过滤法过滤掉关系较小的数据。
在这里插入图片描述

二、相关性过滤

lidf23.corr(method="pearson") # 相关系数矩阵，即给出了任意两个变量之间的相关系数
# pearson：相关系数来衡量两个数据集合是否在一条线上面，即针对线性数据的相关系数计算，针对非线性数据便会有误差。

在这里插入图片描述
发现上面的数据少了一列评价，原因在于评价的数据类型是category类型，因此先将评价转换为int类型：

lidf23=lidf23.astype({'评价':'int'})

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

画出散点图，矩阵图：
在这里插入图片描述

from sklearn.ensemble import RandomForestClassifier as RFC 
from sklearn.model_selection import cross_val_score
from sklearn.feature_selection import SelectKBest  #k个分数最高的
from sklearn.feature_selection import chi2
#取3个特征
X_fschi = SelectKBest(chi2, k=3).fit_transform(X_fsvar, y)  
#使用方差过滤后的数据X_fsvar # 这里K=3是根据X_fvar得来的
X_fschi.shape

在这里插入图片描述

from sklearn.ensemble import RandomForestClassifier as RFC 
from sklearn.model_selection import cross_val_score
from sklearn.feature_selection import SelectKBest  #k个分数最高的
from sklearn.feature_selection import chi2
#取3个特征
X_fschiall = SelectKBest(chi2, k=9).fit_transform(X, y)  # 全集的话就可以K=9，取9个特征
#使用方差过滤后的数据X_fsvar # 这里K=3是根据X_fvar得来的
X_fschiall.shape

在这里插入图片描述
在这里插入图片描述

#通过学习曲线获取超参数  3个特征
%matplotlib inline
import matplotlib.pyplot as plt
score = []
for i in range(3,0,-1):
    X_fschi = SelectKBest(chi2, k=i).fit_transform(X_fsvar, y)
    once = cross_val_score(RFC(n_estimators=10,random_state=0),X_fschi,y,cv=3).mean()
    score.append(once)
plt.plot(range(3,0,-1),score)
plt.show()

在这里插入图片描述

#通过学习曲线获取超参数  全部特征
%matplotlib inline
import matplotlib.pyplot as plt
score = []
for i in range(9,0,-1):
    X_fschi = SelectKBest(chi2, k=i).fit_transform(X, y)
    once = cross_val_score(RFC(n_estimators=100,random_state=0),X_fschiall,y,cv=8).mean()
    score.append(once)
plt.plot(range(9,0,-1),score)
plt.show()

在这里插入图片描述

# 通过学习曲线获取超参数  全部特征，但是用的是X_fschi
%matplotlib inline
import matplotlib.pyplot as plt
score = []
for i in range(9,0,-1):
    X_fschi = SelectKBest(chi2, k=i).fit_transform(X, y)
    once = cross_val_score(RFC(n_estimators=100,random_state=0),X_fschi,y,cv=9).mean()
    score.append(once)
plt.plot(range(9,0,-1),score)
plt.show()
# X_fschi:
'''
array([[0.        ],
       [0.        ],
       [0.        ],
       [0.        ],
       [0.        ],
       [0.46153846],
       [0.46153846],
       [0.46153846],
       [0.46153846],
       [0.46153846],
       [1.        ],
       [1.        ],
       [1.        ],
       [1.        ],
       [1.        ],
       [1.        ]])'''

在这里插入图片描述
可以看到K取5或者7的时候正确率可以达到100%

三、卡方检验

取三个特征的结果：

chivalue, pvalues_chi = chi2(X_fsvar,y)  
chivalue

cross_val_score(RFC(n_estimators=10,random_state=0),X_fschi,y,cv=3).mean()

k=chivalue.shape[0]-(pvalues_chi>0.05).sum() # 减去与标签无关的
k

在这里插入图片描述
取全部特征的结果：

四、F检验

# F检验 
from sklearn.feature_selection import f_classif 
F,pvalues_f=f_classif(X_fsvar,y)
F 

k=F.shape[0]-(pvalues_f>0.05).sum() 
X_fsF=SelectKBest(f_classif,k=k).fit_transform(X_fsvar,y)
cross_val_score(RFC(n_estimators=10,random_state=0),X_fsF,y,cv=3).mean()

在这里插入图片描述

from sklearn.feature_selection import f_classif
F,pvalues_f=f_classif(X,y)
F

k=F.shape[0]-(pvalues_f>0.05).sum() 
X_fsF=SelectKBest(f_classif,k=k).fit_transform(X,y)
cross_val_score(RFC(n_estimators=10,random_state=0),X_fsF,y,cv=9).mean()

在这里插入图片描述

五、互信息法

# 4互信息法 
from sklearn.feature_selection import mutual_info_classif as MIC
result=MIC(X_fsvar,y)
k=result.shape[0]-sum(result<=0)
X_fsmic=SelectKBest(MIC,k=k).fit_transform(X_fsvar,y)
cross_val_score(RFC(n_estimators=10,random_state=0),X_fsmic,y,cv=5).mean()

在这里插入图片描述

六、嵌入法

# 6 嵌入法
from sklearn.feature_selection import SelectFromModel
from sklearn.ensemble import RandomForestClassifier as RFC 

RFC_=RFC(n_estimators=10,random_state=0)
X_embedded=SelectFromModel(RFC_,threshold=0.005).fit_transform(X,y)
X_embedded.shape # 结果：可以减去两个特征，剩下7个

#通过学习曲线获取阈值
import numpy as np
import matplotlib.pyplot as plt

RFC_.fit(X,y).feature_importances_
threshold = np.linspace(0,(RFC_.fit(X,y).feature_importances_).max(),20)
score = []
for i in threshold:
    X_embedded = SelectFromModel(RFC_,threshold=i).fit_transform(X,y)
    once = cross_val_score(RFC_,X_embedded,y,cv=5).mean()
    score.append(once)
plt.plot(threshold,score)
plt.show()

在这里插入图片描述

X_embedded=SelectFromModel(RFC_,threshold=0.005).fit_transform(X,y)
X_embedded.shape 
cross_val_score(RFC_,X_embedded,y,cv=5).mean()

将正确率高的学习曲线进行放大

# 通过学习曲线选取
#liyupudata
score2 = []
for i in np.linspace(0,0.112,20):
    X_embedded = SelectFromModel(RFC_,threshold=i).fit_transform(X,y)
    once = cross_val_score(RFC_,X_embedded,y,cv=5).mean()
    score2.append(once)
plt.figure(figsize=[20,5])
plt.plot(np.linspace(0,0.112,20),score2)
plt.xticks(np.linspace(0,0.112,20))
plt.show()

在这里插入图片描述

七、包装法

#liyupudata
from sklearn.feature_selection import RFE
RFC_ = RFC(n_estimators =100,random_state=0) 
selector = RFE(RFC_, n_features_to_select=9, step=50).fit(X, y)  
selector.support_.sum() 
selector.ranking_  
X_wrapper = selector.transform(X)
cross_val_score(RFC_,X_wrapper,y,cv=5).mean()

在这里插入图片描述

# 通过学习曲线选取
#liyupudata
score = []
for i in range(1,9,1):
    X_wrapper = RFE(RFC_,n_features_to_select=i, step=50).fit_transform(X,y)
    once = cross_val_score(RFC_,X_wrapper,y,cv=5).mean()
    score.append(once)
plt.figure(figsize=[20,5])
plt.plot(range(1,9,1),score)
plt.xticks(range(1,9,1))
plt.show()

在这里插入图片描述

温欣2030
关注
  • 3
    点赞
  • 踩
  • 32
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
predict-co2-emissions:可以预测汽车二氧化碳排放量的机器学习系统
04-14
预测二氧化碳排放量 目录 关于 预测汽车的CO2排放对于在汽车模型中产生较少的CO2很有用，它将减少二氧化碳在环境中的有害影响。 在该项目中，对数据集进行feature engineering以选择影响车辆二氧化碳排放的特征。 splitting数据按scaling并将其splitting为训练和测试数据集后， splitting进行cross validation 。 在分析learning curve ，然后使用训练数据训练模型。 最后，该模型是对测试数据进行测试，并evaluated的基础上， mean squared error和r2 score 。 使用的技术 用作编程语言。 Numpy用于数学和数据处理。 Pandas用于分析和处理数据。 Matplotlib和Seaborn用于数据可视化，有助于数据分析。 Sciki-learn用于数据预处理，创建机器学习模型并
基于机器学习预测未来的二氧化碳排放量（随机森林和XGBoost）
最新发布
lhyandlwl的博客
05-24 1760
本文将使用Python对OWID提供的CO2排放数据集进行分析，并尝试构建机器学习模型来预测未来的CO2排放趋势。我们将探索数据集中的CO2排放情况，分析各国/地区的排放趋势，并利用机器学习算法来预测未来的CO2排放量。
基于机器学习的碳市场预测研究进展
zw233333的博客
11-18 2591
碳排放交易是国际公认的一种有效的碳减排机制，自2005年欧盟碳排放交易体系成立以来，国际碳排放交易市场已经运行了12年，而中国的碳市场试点只有三年，仍面临碳交易价格形成机制不成熟、信息传导不通畅、碳交易工具不完善和碳市场活跃度不高等问题。由于碳排放水平高，我国碳排放交易市场发展空间巨大。欧盟和中国在经济结构和节能减排（ESER）情况上存在较大差异，在碳交易的背景和基本条件上仍存在诸多差异。欧盟和中国的一个共同点是，碳交易是缓解环境危机和促进ESER的成本效益措施。
生态与农田主流碳库分解模型及 CO2、CH4、N2O 排放模拟
weixin_49857990的博客
11-08 1623
双碳目标下基于遥感技术的碳库、碳平衡、温室气体、碳循环等多领域监测与模拟、生态与农田系统温室气体排放
基于机器学习LSTM网络的SO_(2)排放浓度预测.pdf
09-24
基于机器学习LSTM网络的SO_(2)排放浓度预测.pdf
【消费量预测】基于matlab碳排放约束下煤炭消费量预测【含Matlab源码 223期】.zip
12-27
在这个特定的案例中，研究者可能使用了统计学或机器学习方法来预测未来的煤炭消费趋势，同时考虑了环境因素，特别是碳排放的限制。 首先，我们需要理解碳排放约束在煤炭消费预测中的作用。随着全球对环境保护的关注...
基于深度强化学习的混合动力汽车能源管理策略.zip
04-16
深度强化学习（Deep Reinforcement Learning, DRL）是机器学习领域的一个分支，它结合了深度学习的特征提取能力与强化学习的决策制定过程。在混合动力汽车的能量管理系统中，DRL能够通过模拟环境与连续的交互，学习...
20171024第19届亚太汽车工程年会
07-16
【人工智能】在汽车领域，人工智能主要用于实现自动驾驶的决策系统，以及通过机器学习改进车辆的性能和效率。2017年的会议可能涵盖了神经网络、模式识别、自然语言处理等AI技术在汽车行业的最新进展，以及它们如何...
UASB处理高硫酸盐废水及人工神经网络模型的构建.pdf
09-25
在环保领域，高硫酸盐废水的处理是一项重要的挑战，尤其在食品加工、纸浆生产、制药和石化等工业中，这类废水的排放对环境造成了显著的负担。针对这一问题，"UASB处理高硫酸盐废水及人工神经网络模型的构建"的研究...
NonlinearOptimization_youhua_
10-03
在电力系统调度中，非线性优化用于确定发电厂的输出功率，以最小化运营成本或碳排放，同时满足供需平衡和安全约束。这涉及到复杂的非线性函数，如热力学效率、网络损耗等。MATLAB的优化工具能够处理这些问题，结合...
co2_emissions_prediction_countries:世界银行提供的一个机器学习项目，旨在从经济指标、人口、能源使用、土地使用等国家参数中分析和预测二氧化碳排放量
05-30
从国家数据预测每年的 CO2 排放量 机器学习项目 弗拉迪斯拉夫·托多罗夫 自述文件 内容： 项目介绍 背景和目标 项目结构 内置 所有项目阶段的总结 如何打开 数据集信息 许可证信息 一、项目说明 背景和目标 预测机器学习 (ML) 模型和大量可用数据对于分析气候变化趋势或相关贡献者的发展非常有用。 理论上，国家一年内二氧化碳等温室气体排放量可能取决于特定国家的某些方面。 在此背景下，我开发了一个 ML 项目，旨在分析和预测来自国家特定参数（如经济指标、人口、能源使用、土地使用等）的二氧化碳排放量。 为此，我使用了世界银行集团提供的公开数据集，其中包括以下参数： 国家：全球绝大多数国家 年份：从 1990 年到 2011 年 温室气体排放，如 CO2、CH4、N2O 等 特定于人口的参数：人口计数，城市人口，人口增长等 国家经济指标：GDP、GNI、外商直接投资等。 与土地相关的
全球实时碳数据2022.1.csv
05-30
全球实时碳数据2022.1.csv
碳排放的混合预测模型（Matlab代码实现）
m0_73907476的博客
05-31 2150
​[1]陈丽君,吴君宏,张朝英,徐帅玺,吕泽焱,谭国威,赵祖亮,汪琰,宋蝶,蒋晓雁,杨伟丰.基于迭代寻优的中长期碳排放预测模型构建方法[J].统计科学与实践,2022(11):22-26.set(gca,'YTickLabel',{num2str(min(ssc),'%.1f\n'),num2str(max(ssc),'%.1f\n')});
基于碳库模拟、机器学习方法、生命周期评价法（LCA）、经验模型和过程模型的生态与农田温室气体排放的模拟
weixin_xiao5kou4chang6kai4的博客
12-09 577
生态与农田CH4和N2O排放模拟算法、基于机器学习方法模拟温室气体、基于生命周期评价法的生态与农田温室气体排放估算、基于过程模型的温室气体排放模拟
LEAP模型能源与碳排放模型
hu397313168的博客
11-04 7191
LEAP拥有灵活的结构，使用者可以根据研究对象特点、数据的可得性、分析的目的和类型等来构造模型结构和数据结构，可以用来分析不同情景下的能源消耗和温室气体排放，这些情景是基于能源如何消耗、转换和生产的复杂计算，综合考虑关于人口、经济发展、技术、价格等一系列假设。3.5 天然气及可再生能源情景（NGCC及风力发电的资本成本、固定运维成本、可变运维成本、能源资源成本）2.1 构建现状账户：录入2010年客运（小汽车、巴士、铁路）、货运（道路、铁路）的能源消费现状数据。
Python:实现获取 CO2 排放数据算法(附完整源码)
希望我的博客，能帮上你解决学习中工作中所遇到的问题
08-08 1215
Python:实现获取 CO2 排放数据算法(附完整源码)
LEAP模型的能源环境发展、碳排放建模预测及不确定性分析教程
m0_74140652的博客
04-02 1494
LEAP模型的能源环境发展、碳排放建模预测及不确定性分析教程
基于LEAP模型的能源环境发展、碳排放建模预测及不确定性分析
WangYan2022的博客
08-08 3155
快速掌握LEAP模型操作及应用，结合实例来全面掌握能源供应转换、能源需求及碳排放预测中的基础数据搜集及处理、能源平衡表核算、模型框架构建、模型操作、情景设计、结果分析、优化、预测结果不确定性分析等。...
小白学spark_82_spark机器学习_特征工程
07-28
特征工程是指在机器学习中，通过对原始数据进行转换、选择、提取和创造特征，从而帮助算法更好地理解数据和实现更好的性能。小白学习Spark的机器学习中的特征工程有以下几个方面的内容。 首先，特征选择是特征工程...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

温欣2030

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值