![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
每天都要被自己菜醒
这个作者很懒,什么都没留下…
展开
-
GBDT与xgboost :流失预测 shap解释 调参 保存调参好的模型
集成学习集成学习的方式分为两类:个体的学习器之间存在强依赖关系,必须串行生成序列化方法,代表Boosting;个体学习器之间不存在强依赖关系,可同时生成并行化方法,代表是Bagging和随机森林。baggingboostingstacking2)点击率预估使用GBDT+LR进行点击率(CTR)预估。https://blog.csdn.net/Snoopy_Yuan/article/details/80703175?depth_1-utm_source=distribute.p原创 2020-10-08 21:06:40 · 2577 阅读 · 8 评论 -
利用SHAP解释Xgboost模型
Xgboost相对于线性模型在进行预测时往往有更好的精度,但是同时也失去了线性模型的可解释性。所以Xgboost通常被认为是黑箱模型。2017年,Lundberg和Lee的论文提出了SHAP值这一广泛适用的方法用来解释各种模型(分类以及回归),其中最大的受益者莫过于之前难以被理解的黑箱模型,如xgboost和神经网络模型。本教程中,我们在真实数据集上进行实操,利用SHAP来解释Xgboost模型。预计学习用时:30分钟。本教程基于Python 3.6版本、Xgboost 0.82版本以及shap 0原创 2020-10-08 20:06:31 · 10230 阅读 · 9 评论 -
聚类:用户画像
用户画像的应用场景产品层面的宏观分析维度用户画像标签类型聚类和分类q:聚类的距离:3.2 K-means算法原理模型评估:误差平方和Q1:K值得确定:肘部法则Q2: 聚类效果如何评估??:轮廓系数3.3 K-means算法的优缺点3.4 使用Pyhton做K-means算法的步骤4. 用户画像5.使用K-means做用户画像(1)数据解释本节对互联网行业用户进行聚类分析,根据获取到用户的10个维度进行聚类分析,10维度涵盖了用户的观看原创 2020-10-06 14:36:53 · 6509 阅读 · 1 评论 -
决策树算法:用户分层:
1.决策树概念及应用场景决策树概念决策树是一种以树型结构形式表达的预测分析模型,一般一棵决策树包含一个根节点、若干个内部节点和叶节点;叶节点对应决策结果,其他每个节点对应于一个属性;每个节点包含的样本集合根据属性测试被划分到子节点中;根节点包含样本全集,从根节点到每个叶节点的路径对应了一个判定测试序列。决策树种类有两种:分类树–对离散变量做决策树;回归树–对连续变量做决策树。 决策树常常用来解决分类和回归问题,在实际工作中基本应用于给人群分类,最好的应用场景是要把人群分为互斥的两类,并找到两类人群的原创 2020-10-05 19:54:57 · 2541 阅读 · 1 评论 -
营收与预测:线性回归建立预测收入水平的线性回归模型。
获取数据特征含义、## 获取数据from sklearn.linear_model import LinearRegressionfrom sklearn.metrics import r2_scoreimport statsmodels.api as sm #是 Python 中一个强大的统计分析包,包含了回归分析、时间序列分析、假设检验等等的功能import numpy as np import pandas as pd import matplotlib.pyplot as pltd原创 2020-10-05 10:28:52 · 4597 阅读 · 0 评论 -
基于无监督学习的实体商店顾客偏好分析(自己)表结合之后降维,聚类
数据处理与转化:import numpy as npimport pandas as pdfrom sklearn.decomposition import PCAimport matplotlib.pyplot as plt#C:\Users\lb\Desktop\test# ⽤户订单信息,order_id唯⼀标识orders = pd.read_csv('C:/Users/lb/Desktop/test/2.0orders.csv')orders.head()# pd.Ser..原创 2020-09-30 10:46:40 · 575 阅读 · 0 评论 -
1. 智能设备采集的⽤户⾏为数据的分析(自己)
使⽤数据降维和聚类的⽅法,基于智能设备,包括智能⼿机与⼿环,所采集的⽤户⾏为与动作数据,进⾏深⼊的探究与分析。.本节代码实践课主要是教给学⽣数据降维PCA和聚类K-Means的应⽤场景,以及Python的代码实现。from sklearn.preprocessing import StandardScalerfrom sklearn.decomposition import PCAfrom sklearn.cluster import KMeans, AgglomerativeClusterin原创 2020-09-28 16:58:57 · 270 阅读 · 0 评论 -
xgboost 实现鸢尾花红酒数据集的多分类问题
np.split()的用法np.split(m , (3,) ,axis = 1)鸢尾花数据集概览:逗号隔开import xgboost as xgbimport numpy as npfrom sklearn.model_selection import train_test_split # cross_validationdef iris_type(s): it = {b'Iris-setosa': 0, b'Iris-versicolor': 1原创 2020-09-16 21:10:07 · 1401 阅读 · 0 评论 -
文本数据模型
from sklearn.feature_extraction.text import TfidfVectorizertfidf = TfidfVectorizer(stop_words=stopWord_list, min_df=40, max_df=0.3)train_df.columns = ["类别","文章"]# print('词表大小:', len(tfidf.vocabulary_)) #量化的维数,即特征的维数# X = tfidf.fit_transform(t.原创 2020-09-16 15:39:07 · 542 阅读 · 0 评论 -
TF-IDF +多分类逻辑回归问题文本预处理部分
语法积累:以下实例展示了strip()函数的使用方法:jieba.cut () 出来的都是都是单个的词" ",join() 可以将单个词连接在一起import pandas as pdimport numpy as np读取的注意没有列索引影响的情况train_df = pd.read_csv('3.0text_train.txt', sep='\t', header=None)# header=None,告诉函数读取的原始文件数据没有列索引;否则会把数据的第一行默认为字段名标原创 2020-09-15 21:37:42 · 523 阅读 · 1 评论 -
TF -IDF的 算法原理初步熟悉
TF:统计文本中每个词的出现频率IDF:逆文本评率,这个权重调整参数就是“逆⽂本频率”(IDF),它的⼤⼩与⼀个词的常⻅程度成反⽐。举个例子:利用scikit-learn 进行TF-IDF处理from sklearn.feature_extraction.text import TfidfTransformerfrom sklearn.feature_extraction.text import CountVectorizercorpus=["I come to China to t原创 2020-09-15 14:42:14 · 198 阅读 · 0 评论 -
银行还款预测 :特征工程和逻辑回归和算法应用
python pandas中 inplace 参数理解!](https://img-blog.csdnimg.cn/20200914194137264.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTMxNTk0,size_16,color_FFFFFF,t_70#pic_center)join 和 merge就是SQ原创 2020-09-14 20:11:00 · 735 阅读 · 0 评论 -
银行还款情况预测 数据预处理部分(EDA) 特征工程前
设计语法点:nuinque()这个函数分别统计每一列属性各自有多少个不同值。4.1.1 数据分析库工具import numpy as npimport pandas as pd from sklearn.preprocessing import LabelEncoderimport osimport warningswarnings.filterwarnings('ignore')import matplotlib.pyplot as pltimport seaborn as sns原创 2020-09-14 16:58:35 · 998 阅读 · 2 评论 -
随机森林算法: 实战基于随机森林的医疗费用分析与建模预
MAE 和 RMSE 详解.任务一:选出特征和标签(用作数据分析)· 任务二:选出实际建模时所用的特征与标签,并对数据进行标准化处理·任务三:构建模型,并进行训练、测试和评估import warningswarnings.filterwarnings('ignore') # 忽视警告import pandas as pdfrom matplotlib import pyplot as pltimport seaborn as snsfrom sklearn.ensemble impo原创 2020-09-13 21:25:27 · 1265 阅读 · 1 评论 -
随机森林算法 :有放回重采样 基本分类器
详解sklearn中的make_moons函数Bootstraping:有放回的重采样。Bagging :套袋法:1.有放回的重采样2.对这采样得到的样本建立分类器重复m次步骤,得到m个分类器依据m个分类结果的投票结果进行分类,决定数据硬投票器和软投票器的区别:#硬投票和软投票对比import numpy as npimport os%matplotlib inlineimport matplotlibimport matplotlib.pyplot as pltpl原创 2020-09-13 19:20:32 · 1790 阅读 · 0 评论 -
决策树算法 :员工收入分类:
基本函数:就是那三种 id3 ,c4.5 ,gnni 系数损失函数:怎么计算呢?计算里面的yes or no 在各自属性内的概率VN-图知识:信息增益就是互信息:Python中决策树分类器DecisionTreeClassifier参数和经验总结https://blog.csdn.net/linzhjbtx/article/details/85722187#用于数据处理和分析的工具包import pandas as pd#引入用于数据预处理/特原创 2020-09-11 20:22:24 · 556 阅读 · 0 评论 -
建筑能源得分预测报告 解释模型部分 GBDT
工具包导入:# Pandas and numpy for data manipulationimport pandas as pdimport numpy as np# No warnings about setting value on copy of slicepd.options.mode.chained_assignment = Nonepd.set_option('display.max_columns', 60)# Matplotlib for visualizationim原创 2020-09-11 02:33:51 · 289 阅读 · 1 评论 -
建筑能源预测 得分预报下
缺失值填充 在sklearn中,可以使用Imputer()来进行缺失值填充,对于测试集我们使用数据集中的结果来进行填充.测试集是非常宝贵的 ,不能放在其他集合上4.4 建立基础模型,尝试多种算法#之前把精力都放在了前面了,这回我的重点就要放在建模上了,导入所需要的包# 数据分析库import pandas as pdimport numpy as np# warnings:警告——>忽视pd.options.mode.chained_assignment = Nonepd.se原创 2020-09-11 01:20:07 · 162 阅读 · 0 评论 -
综合项目:建筑能源得分预测报告(数据预处理)
python 语法盘点rename 更改列名:rename()函数(包含更改索引列列名的方法)1 rename()可以更换列名和行名,必须写上columns或index,否则无效Python|rename函数(列名重命名)dataframe 的排序方法describe() [25%] ## 在describe取25%和75%分位drop.na() 参数解读使用corr 计算相关系数sns.lmplot() 画回归图:https://www.cnblogs原创 2020-09-10 17:20:49 · 298 阅读 · 0 评论 -
支持向量机 实战电信运营商 -客户流失预警
python 里面zip() 函数的用法原创 2020-09-09 03:08:36 · 577 阅读 · 0 评论 -
支持向量机SVM
为什么W 是一个向量拆分后将前面的系数 A~ ,B~ ,常量bW.T线性可分在二维空间上,两类点被一条直线完全分开叫做线性可分最小 最大点到两条虚线(过滤带) 的距离最小, 距离两个类的最近样本距离最大决策函数W.T *X +bsvm 的取值范围是(-1 ,1 )#SVM中的最初思想,就是找到一个分类器,能得到上图里在中间位置的,能有最大分类间隔的决策边界#拟合支持向量机,这是一个线性可切分的例子,用sklearn中linear kernel的svm来分一下。#构建..原创 2020-09-08 17:28:14 · 337 阅读 · 0 评论 -
时间数据的特征工程
# 调用pandas的read_csv函数读取数据集文件# 时间数据的特征工程# 将单纯的日期维度扩展成更多维度,构造更多输入给模型的特征,增强数据的可解释性,更接近人的业务逻辑。# 哪一年# 哪一个月# 星期几# 这个月的第几天# 月初还是月末# 一年当中的第几天# 一年当中的第几个月df2 = pd.read_csv('C:/Users/lb/Desktop/test/temperature-min.csv')df2['Date'] = pd.to_datetime(df2['原创 2020-09-07 21:12:56 · 402 阅读 · 0 评论 -
时间序列 数据挖掘初探
链接: [https://www.jb51.net/article/164438.htm]Pandas中resample方法详解python 处理数据的风骚操作:链接: [https://segmentfault.com/a/1190000012394176?utm_source=tag-newest]matshow()这是一个把矩阵或数组绘制成图像的函数...原创 2020-09-07 17:51:40 · 373 阅读 · 0 评论 -
逻辑回归 修改参数解决样本数据不均衡的问题
逻辑回归参数:下面会用到修改权重:建立混沌矩阵:import pandas as pd#接下来就是如何算4个指标 fp tp fn tn# 假正类(False Positive,FP):将负类预测为正类fp_filter = (predictions == 1) & (loans["loan_status"] == 0)fp = len(predictions[fp_filter])print(fp)print("--------------------------------原创 2020-09-06 01:02:56 · 1460 阅读 · 0 评论 -
逻辑回归项目数据清洗:金融风控
1.去掉一些明显没有用的特征,如 如’desc’,'url’,并将剩下特征保存到一个新的csv文件中import warnings import pandas as pd import numpy as np import matplotlib.pyplot as plt warnings.filterwarnings("ignore") #消除警告loans_2007 = pd.read_csv("C:/Users/lb/Desktop/test/LoanStats3a.csv",ski原创 2020-09-05 21:25:44 · 470 阅读 · 0 评论 -
逻辑回归原理介绍+决策边界
损失函数:真实为 1 就应该 sigmoid 尽量大真实为 0 就应该1- sigmoid 尽量大此种情况下损失函数尽可能小绘制损失函数图像:编程实现:#绘制损失函数图像 公式上面z 代表损失函数 ,在(0,1)之间 #二分类 类别y 不是 1 就是 0 import numpy as np import matplotlib.pyplot as plt #字体切换为中文 plt.rcParams["font.family"] = 'SimHei'plt...原创 2020-09-04 19:19:57 · 898 阅读 · 1 评论 -
三种正则化方法解决过拟合
编程实现体会一下正则化 对权重的影响:不同alpha 下对应的权重:等比数列 ,正态分布#from sklearn.datasets import make_regressionfrom sklearn.linear_model import Ridge #L2 正则化import matplotlib.pyplot as plt plt.rcParams["font.family"] = "serif" #切换成英文字体#创建回归数据集:X,y,w = make_regr...原创 2020-09-03 20:00:52 · 1483 阅读 · 0 评论 -
欠拟合和过拟合现象:多项式方法解决过拟合
numpy.reshape(a,(-1,1))的含义https://blog.csdn.net/m0_38052384/article/details/102692708用一个例子与感受一下欠拟合:注意升维#演示一下欠拟合场景 import numpy as np import pandas as pd import matplotlib.pyplot as plt from sklearn.linear_model import LinearRegression#np.linspac原创 2020-09-03 03:01:29 · 964 阅读 · 0 评论 -
特征工程实战2:随机森林模型用于疾病的判断工程
x_train , y_train :在一张表里面。确定x,y 的时候会用到 drop函数对整个矩阵 删去 ,y的那一列,剩下的都是ximport numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom sklearn.ensemble import RandomForestClassifier from sklearn.tree import export_graphviz from sklearn.model_原创 2020-09-11 17:37:07 · 1221 阅读 · 0 评论 -
特征工程实战泰坦尼克号
数据标签介绍pclass : 船舱等级,一等舱、二等舱sibsp : 有无堂兄弟parch :带没带父母小孩import pandas as pd import numpy as npimport warnings warnings.filterwarnings("ignore")df_train = pd.read_csv('C:/Users/lb/Desktop/test/train.csv')#默认看前五行数据df_train.head()df_train.inf原创 2020-09-02 21:59:46 · 395 阅读 · 0 评论 -
特征中重要的Python插件
1.Permutation Importanceimport numpy as npimport pandas as pdfrom sklearn.model_selection import train_test_split #分割训练集from sklearn.ensemble import RandomForestClassifier #集成算法对解释模型效果是很好的import warningswarnings.filterwarnings("ignore")data = pd.r原创 2020-09-02 02:00:32 · 573 阅读 · 3 评论 -
特征工程:类别型
1 label标准化#特征工程 类别型:vg_df = pd.read_csv('C:/Users/lb/Desktop/test/vgsales.csv', encoding = "ISO-8859-1") #单字节编#码,最多能表示的字符范围是0-255,应⽤于英⽂系列。⽐如,字⺟a的编码为0x61=97print(vg_df[['Name', 'Platform', 'Year', 'Genre', 'Publisher']].iloc[1:7])#去重genres = np.uniq原创 2020-09-01 19:48:49 · 298 阅读 · 0 评论 -
特征工程 -数值型
特征工程:数值型1.标准化,最小最大归一化 (0-1 之间)#2019 12 15 标准化 ,最大最小归一化(0到 1 之间)from sklearn.preprocessing import StandardScaler, MinMaxScalerimport numpy as npimport pandas as pd np.set_printoptions(suppress=True)#在控制台输出过程中,默认⼩数会以科学计数法的形式输出import warningswarnings原创 2020-09-01 17:45:56 · 326 阅读 · 0 评论 -
KNN算法实现(注释详细)手写数字识别
''' 首先编写一段函数 img2vector,将图像转换为向量:该函数创建 1x1024 的 NumPy 数组, 然后打开给定的文件,循环读出文件的前 32 行,并将每行的头 32 个字符值存储在 NumPy 数组中,最后返回数组。 '''def img2Vector(filename): #该函数创建 1x1024 的 NumPy 数组 returnVect =np.zeros( (1,1024) ) #1行1024列 fr =open(filename) .原创 2020-08-31 19:14:30 · 506 阅读 · 0 评论 -
sklearn knn算法用于鸢尾花分类
#knn 算法用于鸢尾花import numpy as np#准确率from sklearn import datasets #自带数据集from sklearn.metrics import accuracy_score# knn算法from sklearn.neighbors import KNeighborsClassifier#训练集和测试集区分 交叉验证from sklearn.model_selection im原创 2020-08-30 23:55:07 · 401 阅读 · 0 评论 -
静态分区动态分区 hadoop
动态分区功能示例:create table pz_business_search (interface_name string comment’接口名称’,interface_param_in string comment’接口入参’,interface_type string comment’接口类型’,invoke_time string comment’调用时间’)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ‘,’—数据列分隔原创 2020-07-27 23:46:01 · 281 阅读 · 0 评论