- 博客(135)
- 收藏
- 关注
RSS订阅原创 Python大数据分析——K近邻模型（KNN）
那么解决方法就是，一种是设置k近邻样本的投票权重，使用KNN算法进行分类或预测时设置的k值比较大，担心模型发生欠拟合的现象，一个简单有效的处理办法就是设置近邻样本的投票权重，如果已知样本距离未知样本比较远，则对应的权重就设置得低一些，否则权重就高一些，通常可以将权重设置为距离的倒数。对于连续型的因变量来说，则是将k个最近的已知样本均值用作未知样本的预测。还有一种方法是，采用多重交叉验证法，该方法是目前比较流行的方案，其核心就是将k取不同的值，然后在每种值下执行m重的交叉验证，最后选出平均误差最小的k值。
2024-07-11 21:12:54
979
原创 Python大数据分析——决策树和随机森林
对于已知的事件A来说，事件D的信息增益就是D的信息熵与A事件下D的条件熵之差，事件A对事件D的影响越大，条件熵H(D|A)就会越小(在事件A的影响下，事件D被划分得越“纯净”)，体现在信息增益上就是差值越大，进而说明事件D的信息熵下降得越多。与信息增益类似，还需要考虑自变量对因变量的影响程度，即因变量的基尼指数下降速度的快慢，下降得越快，自变量对因变量的影响就越强。为了克服信息增益指标的缺点，提出了信息增益率的概念，"它的思想很简单，就是在信息增益的基础上进行相应的惩罚。浅色的椭圆表示树的中间节点；
2024-07-09 22:36:04
855
原创 Python大数据分析——Logistic回归模型
x轴叫阈值，图中的两条折线分别代表各分位点下的正例覆盖率和1-负例覆盖率，通过两条曲线很难对模型的好坏做评估，一般会选用最大的KS值作为衡量指标。通常绘制ROC曲线，不仅仅是得到左侧的图形，更重要的是计算折线下的面积，即图中的阴影部分，这个面积称为AUC。其中，α为学习率，也称为参数βj变化的步长，通常步长可以取0.1，0.05，0.01等。所以，性别变量的发生比率为e** β1，表示男性患癌的发生比约为女性患癌发生比的e**β1倍。正例命中率：表示正确预测的正例数在预测正例数中的比例，即D/(C+D)，
2024-05-11 21:41:26
1441
1
原创 Python大数据分析——岭回归和LASSO回归模型
因为根据线性回归模型的参数估计公式β=(X’X)-1X’y可知，得到β的前提是矩阵X’X可逆，但在实际应用中，可能会出现自变量个数多于样本量或者自变量间存在多重共线性的情况，即X’X的行列式为0。岭回归模型解决线性回归模型中矩阵X’X不可逆的办法是添加l2正则的惩罚项，但缺陷在于始终保留建模时的所有变量，首先将数据集拆分成k个样本量大体相当的数据组(如图中的第一行)，并且每个数据组与其他组都没有重叠的观测;然后从k组数据中挑选k-1组数据用于模型的训练，剩下的一组数据用于模型的测试(如图中的第二行);
2024-04-18 03:18:58
1103
原创 Python大数据分析——一元与多元线性回归模型
从返回的结果可知，只有截距项Intercept和研发成本RD Spend对应的p值小于0.05，其余变量都没有通过系数的显著性检验，即在模型中这些变量不是影响利润的重要因素。我们发现，计算出来的F统计量值174.64远远大于F分布的理论值2.50，所以应当拒绝原假设，即认为多元线性回归模型是显著的，也就是说回归模型的偏回归系数都不全为0。对于一元线性回归模型来说，其反映的是单个自变量对因变量的影响，然而实际情况中，影响因变量的自变量往往不止一个，从而需要将一元线性回归模型扩展到多元线性回归模型。
2024-04-14 21:33:59
1376
原创 Python数据分析必备工具——数据可视化Matplotlib模块及其应用
箱线图是另一种体现数据分布的图形，通过该图可以得知数据的下须值（Q1-1.5IQR）、下四分位数（Q1）、中位数（Q2）、均值、上四分位（Q3）数和上须值（Q3+1.5IQR），更重要的是，箱线图还可以发现数据中的异常点；虽然饼图可以很好地表达离散型变量在各水平上的差异，但其不擅长对比差异不大或水平值过多的离散型变量，因为饼图是通过各扇形面积的大小来比价差异的，面积的比较有时并不直观；气泡图的绘制，使用的仍然是scatter函数，区别在于函数的s参数被赋予了具体的数值型变量；通常折线图的横坐标指代。
2024-04-10 23:53:06
758
原创 Python数据分析必备工具——Pandas模块及其应用
df.head()：查看数据前5组df.shape：表示数据规模操作函数df.columns：变量列表df.dtypes：变量类型（object表示非数字类型或叫字符型）df.describe：统计描述（默认对数值型数据做统计表述，如非缺失数据的个数、均值、标准值等）df.describe(include=‘object’) 对字符型数据进行描述df.columns：列名称。
2024-03-29 21:51:43
1023
原创 Python数据分析必备工具——Numpy模块
数组是编程中一种强大的数据结构，它允许您存储和操作相同类型元素的集合。在 Python 中，数组是通过数组模块创建的，该模块提供了一个简单的接口来创建、操作和处理数组。特别的：矩阵是一种二维数组。
2024-03-19 17:06:47
994
原创 Python的网络爬虫介绍与实战
网络爬虫是按照一定的规则，自动地抓取万维网（www）信息的程序或者脚本。借助于网络爬虫的技术，基本上可以做到所见即所得。比如：新闻、搜索引擎、微博、竞品分析和股票等。
2024-03-17 22:55:48
1686
1
原创 Python的自定义函数
定制化需求降低代码重复编写def function_name(parameters) : function_expression return(result) def 是define单词的缩写，为自定义函数的关键词function_name为自定义的函数名称parameters为自定义函数的形参，需要放在圆括号内function_expression为具体的函数体 return 用于返回函数的计算结果。
2024-02-21 14:45:55
378
1
原创 Python的控制流语句使用
单分支 if condition : expression # 双分支 if condition : expression1 else : expression2 # 多分支 if condition1 : expression1 elif condition2 : expression2 else : expression3。
2023-11-28 02:59:35
997
原创 Python常见基础数据结构
{‘姓名’: ‘张三’, ‘年龄’: 33, ‘性别’: ‘男’, ‘子女’: {‘儿子’: ‘张四’, ‘女儿’: ‘张美’}, ‘兴趣’: [‘踢球’, ‘游泳’, ‘唱歌’], ‘身高’: 178}{‘姓名’: ‘张三’, ‘年龄’: 35, ‘性别’: ‘男’, ‘子女’: {‘儿子’: ‘张四’, ‘女儿’: ‘张美’}, ‘兴趣’: [‘踢球’, ‘游泳’, ‘唱歌’], ‘身高’: 178}[‘江苏’, ‘安徽’, ‘浙江’, ‘上海’, ‘山东’, ‘山西’, ‘湖南’, ‘湖北’]
2023-11-26 16:59:09
1082
原创 12 Python 与 MySQL 数据库交互（含案例实战2：把金融数据存入数据库中）
Python与数据库进行连接，并实战配套将爬虫出来的金融数据存入数据库当中去。怎么爬怎么处理可以看我之前写的 7案例实战1，因为网页规则大体不变，但会有小的改变，所以你会发现我本次进行的信息处理和之前不一样，不过大体上是一样的，请学习前面文章，后面我会继续更新数据清洗优化
2022-09-12 11:07:35
1391
1
原创 我的NVIDIA开发者之旅——利用NVIDIA TAO工具包3.0和Deepstream快速搭建车辆信息识别系统
汽车检测以及车牌信息视频源—— 视频流处理（RTSP/RAW、DECODE）—— 预处理大小、分辨率等（IMAGE PROCESSING）—— 批次处理即几张图片组合到一起进行处理（BATCHING）—— 推理任务（DNN(s)）—— 进行更多操作如追踪任务（TRACKING）—— 显示合成（VIZ）—— 输出（DISPLAY/STORAGE/CLOUD）...
2022-06-07 15:31:37
1058
原创 OpenCV——Python：图像投影向量与堆叠4
图像投影向量（warping perspective）# 进行图像转换，选取目标并正视import cv2import numpy as npimg = cv2.imread("2.jpg") # 读取图像width, height = 205, 350 # 定义框大小pts1 = np.float32([[111, 219], [287, 188], [154, 482], [352, 440]]) # 可以用电脑的画图，捕捉作标，从而选取作标pts2 = np.float3
2022-05-25 15:01:57
482
原创 OpenCV——Python：像素调整、图片裁剪、形状与文字设置3
像素调整与图片裁剪import cv2img = cv2.imread("2.jpg") # 读取图像print(img.shape) # 查看图像长，宽，通道数imgResize = cv2.resize(img, (300, 200)) # 调整图片像素imgCropped = img[0:200, 200:500] # 裁剪图片；先y后x（先高后宽）cv2.imshow("Output1", img)cv2.imshow("Output2", imgResize
2022-05-24 21:36:40
1133
原创 OpenCV——Python：图像膨胀与腐蚀设置2
利用opencv进行图像膨胀与腐蚀处理图像import cv2import numpy as npimg = cv2.imread("1.jpg") # 读取图像kernel = np.ones((5, 5), np.uint8) # 定义全为1的矩阵(卷积核)，对象类型为8位无符号整型（0~255）imgGray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 对图片进行转换颜色空间imgBlur = cv2.GaussianBlur(imgG
2022-05-23 20:39:46
423
原创 OpenCV——Python：基础操作1
内容包括利用python的opencv功能包，调用图像、视频和摄像头import cv2''' 一、读取图像img = cv2.imread("1.jpg") # 读取图像cv2.imshow("Output", img)cv2.waitKey(0) # 设置0代表着无限延迟，1000为1s'''''' 二、读取视频cap = cv2.VideoCapture("1.mp4") # 读取路径视频# 视频需要逐帧浏览每个帧while True: success,
2022-05-23 20:05:56
216
原创 UART嵌入式通信协议（以AVR单片机为例）
UART通信协议概念通信基础并行通信串行通信单工通信双工通信半双工全双工波特率UART帧格式硬件连接控制器AVR单片机USART相关寄存器I/O数据寄存器 UDR控制和状态寄存器 UCSRA控制和状态寄存器UCSRB控制和状态寄存器UCSRC波特率寄存器UBRRL和UBRRHUSART的使用方法初始化发送函数接受函数主函数实例概念UART是一种通用串行数据总线，用于异步通信。该总线双向通信，可以实现全双工传输和接收。在嵌入式设计中，UART用于主机与辅助设备通信，如汽车音响与外接AP之间的通信，与PC机
2022-05-06 21:59:57
1934
原创 统计分析——回归分析
在大数据分析中，回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。
2022-04-27 22:40:28
19877
1
原创 数据科学分布——Beta分布
Beta分布概念参数影响数量比例随机产生数据概率密度函数累积概率密度函数概念贝塔分布（Beta Distribution) 是一个作为伯努利分布和二项式分布的共轭先验分布的密度函数，在机器学习和数理统计学中有重要应用。在概率论中，贝塔分布，也称Β分布，是指一组定义在(0,1) 区间的连续概率分布。可以看作一个概率的概率分布，当你不知道一个东西的具体概率是多少时，它可以给出了所有概率出现的可能性大小。# 加载功能包import numpy as npimport scipy.stats as
2022-04-20 16:43:19
13247
原创 数据科学分布——卡方分布
卡方分布概念自由度随机生成概率密度函数累积概率密度函数概念通俗的讲就是通过小数量的样本容量去预估总体容量的分布情况。卡方检验就是统计样本的实际观测值与理论推断值之间的偏离程度。若n个相互独立的随机变量ξ₁，ξ₂，…,ξn ，均服从标准正态分布（也称独立同分布于标准正态分布），则这n个服从标准正态分布的随机变量的平方和构成一新的随机变量，其分布规律称为卡方分布（chi-square distribution）。其中# 加载功能包import numpy as npimport scipy.
2022-04-20 14:33:40
1742
原创 数据科学分布——均匀分布
均匀分布概念a与b的影响概念在概率论和统计学中，均匀分布也叫矩形分布，它是对称概率分布，在相同长度间隔的分布概率是等可能的。 均匀分布由两个参数a和b定义，它们是数轴上的最小值和最大值，通常缩写为U（a，b）。# 加载功能包import numpy as npimport scipy.stats as statsimport matplotlib.pyplot as pltimport matplotlib.style as stylefrom IPython.core.display
2022-04-20 13:42:35
7262
3
原创 数据科学分布——泊松分布
泊松分布概念λ的影响产生随机值概率质量函数累积概率密度函数绘制λ概念Poisson分布，是一种统计与概率学里常见到的离散概率分布。现实生活多数服从泊松分布。泊松分布的概率函数为：泊松分布的参数λ是单位时间(或单位面积)内随机事件的平均发生次数。 泊松分布适合于描述单位时间内随机事件发生的次数。泊松分布的期望和方差均为λ特征函数为# 加载功能包import numpy as npimport scipy.stats as statsimport matplotlib.pyplot
2022-04-20 12:19:38
15627
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人