![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
数据科学知识库
谋事在人,成事在天,不求尽如人意,但求无愧于心!
展开
-
Xgboost分类模型的完整示例
在这个案例中,我们处理了UCI蘑菇数据集,目标是预测蘑菇是否有毒。数据经过预处理,包括编码转换。我们使用XGBoost模型,通过随机搜索优化了其超参数。模型训练后,我们评估了它的性能,计算了准确率、精确率、召回率和F1分数,并将结果存入DataFrame。进一步,使用SHAP进行负例分析,以及特征重要性的可视化,揭示了影响模型决策的关键特征。这展示了一个完整的机器学习流程,从数据处理到模型训练、评估,直至解释性分析。原创 2024-01-01 16:07:57 · 1612 阅读 · 4 评论 -
PySpark中DataFrame的join操作
常见的类型有 “inner”, “outer”, “left_outer”, “right_outer”, “leftsemi”。在进行 JOIN 操作时,如果两个 DataFrame 有相同的列名,可能需要使用别名(alias)来避免列名冲突。on 参数是一个字符串(单列名)或一个列表(多列名)或一个表达式,指定了合并的基准。包含左边 DataFrame 的所有行,以及与右边 DataFrame 匹配的行。包含右边 DataFrame 的所有行,以及与左边 DataFrame 匹配的行。原创 2023-12-20 16:36:13 · 1534 阅读 · 0 评论 -
数据可视化---离群值展示
如果你有任何问题或建议,也欢迎在评论区留言。如果你觉得内容不错,请三连支持哦!原创 2023-12-19 14:05:10 · 948 阅读 · 0 评论 -
数据可视化---双Y轴折线图比较
【代码】双Y轴折线图比较。原创 2023-12-18 11:59:04 · 1148 阅读 · 2 评论 -
机器学习算法---聚类
类别内容导航机器学习机器学习算法应用场景与评价指标机器学习算法—分类机器学习算法—回归机器学习算法—聚类机器学习算法—异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3 Sigma原则筛选离群值Python统计学检验大数据PySpark大数据处理详细教程使用教程CentOS原创 2023-12-17 10:37:26 · 1077 阅读 · 0 评论 -
机器学习算法---时间序列
类别内容导航机器学习机器学习算法应用场景与评价指标机器学习算法—分类机器学习算法—回归机器学习算法—聚类机器学习算法—异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3 Sigma原则筛选离群值Python统计学检验大数据PySpark大数据处理详细教程使用教程CentOS原创 2023-12-17 10:33:27 · 691 阅读 · 0 评论 -
数据可视化---饼图、环形图、雷达图
饼状图:展示了四个类别(A, B, C, D)的数据,每个类别的比例标注在图中。环形图:与饼状图使用相同的数据,但采用环形设计,以不同的视觉风格呈现相同的信息。雷达图:展示了六个不同指标(Metric 1 至 Metric 6)的数据,以雷达图的形式展现每个指标的数值。原创 2023-12-16 21:58:58 · 1083 阅读 · 0 评论 -
数据可视化---柱状图
【代码】数据可视化---柱状图。原创 2023-12-16 21:52:58 · 649 阅读 · 0 评论 -
数据可视化---箱线图
【代码】Python Matplotlib可视化。原创 2023-12-15 12:15:40 · 837 阅读 · 0 评论 -
数据挖掘任务一般流程
数据挖掘是从大量数据中提取有价值信息的过程。它涉及多个步骤,每一步都对整个数据挖掘过程至关重要。原创 2023-12-13 12:03:47 · 669 阅读 · 0 评论 -
机器学习算法应用场景与评价指标
机器学习的算法选择大部分依赖于具体的问题类型和数据特征。根据具体的应用场景和问题,评价指标的适用性可能会有所不同。原创 2023-12-14 16:49:10 · 1507 阅读 · 0 评论 -
PySpark大数据处理详细教程
在这篇博客中,我们将深入探讨 PySpark DataFrame 的操作和应用,从基础到高级,涵盖了数据处理和分析的多个方面。我们会开始于 DataFrame 的创建和基本操作,逐步过渡到复杂的数据转换、特征工程,最后探索性能优化和数据流处理等高级主题。每个部分都配有实用的代码示例和详细的解释,旨在帮助您更好地理解和应用这些技术。无论您是希望提高数据分析技能,还是寻找提升大数据处理能力的灵感,这篇博客都将是您的理想选择。原创 2023-12-12 12:21:50 · 1764 阅读 · 0 评论 -
Python--统计学检验
1.导入相关库import numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom scipy import statsfrom scipy.stats import normaltest,kstest,shapiro,anderson,levene, bartlett,f_onewayfrom scipy.stats import ttest_1samp,ttest_ind,ttest_rel,mannwhitne原创 2021-07-27 16:23:23 · 1185 阅读 · 0 评论 -
Python--分类问题标签化
"""根据user_value给用户打标签,若是二分类问题,直接用np.where(condition,a,b)多分类问题,利用quantile()函数对不同的范围给一个级别指数,定义类别然后label"""Q2 = data_grouped['user_value'].quantile(0.2)Q4 = data_grouped['user_value'].quantile(0.4)Q6 = data_grouped['user_value'].quantile(0.6)Q8 = data_原创 2021-07-12 09:04:51 · 666 阅读 · 0 评论 -
Python OpenCV-物体轮廓检测
1.cv2.findContours() 函数检测轮廓import cv2img = cv2.imread('C:/Users/Administrator/Desktop/New_Study/IMAGE/Pictures/1.jpg') gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY) ret, binary = cv2.threshold(gray,127,255,cv2.THRESH_BINARY) contours, hierarchy =原创 2021-04-27 11:07:15 · 1146 阅读 · 0 评论 -
Python OpenCV-摄像头的调用
1.调用摄像头拍照保存# coding:utf-8import cv2# cap = cv2.VideoCapture(1, cv2.CAP_DSHOW)cap = cv2.VideoCapture(0)#检查摄像头是否打开,值为TRUE or FALSEflag = cap.isOpened()index = 1while (flag): ret, frame = cap.read() #flip(mat,mat,int)第三个参数:1左右翻 0 上下翻 -1 对角翻原创 2021-04-27 10:39:10 · 1187 阅读 · 5 评论 -
Python OpenCV-基本图形绘制
1.导入模块import cv2 as cvimport numpy as np 2.OpenCV绘图大致步骤OpenCV 图形绘制步骤(1)先定义基础画布canvas = np.zeros((400,600,3),dtype=np.uint8)+255(2)画布分界,(300,0)分别是宽、高cv.line(canvas,(300,0),(300,399),(0,0,0,),2)(3)在画布上绘制图形,如画圆cv.circle(canvas, (150, 300), 88, (0, 0,原创 2021-04-21 16:34:23 · 663 阅读 · 0 评论 -
Python OpenCV-循环播放图片
1.导入相关模块import timeimport cv2 as cvimport osimport sysfrom itertools import cycle2.单窗口显示图片# OpenCV窗口显示img = cv.imread('C:/Users/Administrator/Desktop/New_Study/IMAGE/Pictures/1.jpg')cv.namedWindow('Show image ',cv.WINDOW_NORMAL)cv.imshow('Show i原创 2021-04-21 16:21:38 · 6084 阅读 · 0 评论 -
Python OpenCV-基础图像处理
1.导入CV模块import cv2 as cv2.读取单通道灰度图及处理#读取图片color_img = cv.imread("C:/Users/Administrator/Desktop/New_Study/IMAGE/flower.jpg")print(color_img.shape)cv.namedWindow('color_img',cv.WINDOW_NORMAL)cv.imshow("Flower",color_img)#读取单通道灰度图gray_img = cv.im原创 2021-04-21 16:12:04 · 1183 阅读 · 4 评论 -
Python-Regression
本文归纳整理了10多种机器学习模块sklearn中回归算法调用及实现过程,有需要的可以参考一下:1.加载所需模块import scipyimport mglearnimport numpy as npimport pandas as pdimport seaborn as sns import matplotlib.pyplot as pltfrom sklearn.model_selection impo.原创 2021-02-07 15:06:46 · 1921 阅读 · 3 评论 -
Describe_Extend
import scipyimport pandas as pd import numpy as npdef Describe_Extend(data,ndigits): result1 = pd.DataFrame(data.describe()) result2 = pd.DataFrame(data.mode().iloc[0,:]) result2.columns = ['mode'] Result = result1.append(result2.T原创 2021-01-27 11:54:59 · 86 阅读 · 0 评论 -
2021-01-27
def twoway_anova_no_interaction(data,alpha,ndigits): data_new = data.iloc[:,1:] data_new.index=pd.Index(['A1','A2','A3','A4'],name='A') data_new.columns=pd.Index(['B1','B1','B2','B2','B3','B3'], name='B') data_new1 = data_new.stack().reset_原创 2021-01-27 11:41:31 · 92 阅读 · 0 评论 -
2021-01-27
import numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom scipy import statsfrom scipy.stats import kstest,normaltest,levenefrom scipy.stats import ttest_1samp,ttest_ind,ttest_rel,mannwhitneyu,kruskalfrom statsmodels.stats.multicomp原创 2021-01-27 11:36:47 · 101 阅读 · 0 评论 -
箱线图筛选异常值
############### Boxplot ################fig = plt.figure(figsize = (15,9))ax1 = fig.add_subplot(2,1,1)color = dict(boxes='DarkGreen', whiskers='DarkOrange', medians='DarkBlue', caps='red')data.plot.box(vert=False, grid = True,color = color,ax = ax1,lab原创 2021-01-27 11:33:24 · 1637 阅读 · 3 评论 -
3 Sigma原则筛选离群值
import numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom scipy import statsnp.random.seed(12345)data = pd.Series(np.random.randn(10000)*100)########## normal test ###################u = data.mean()std = data.std()print(stats.kste原创 2021-01-27 11:32:02 · 1077 阅读 · 2 评论 -
Boxplot
def box_plot_outliers_1(df1, box_scale): iqr = box_scale*(df1.quantile(0.75) - df1.quantile(0.25)) val_low = df1.quantile(0.25) - iqr*1.5 val_up = df1.quantile(0.75) + iqr*1.5 outlier = df1[(df1 < val_low) | (df1 > val_up)] df1 =原创 2021-01-27 11:21:24 · 102 阅读 · 0 评论