- 博客(143)
- 收藏
- 关注
RSS订阅原创 8-Python基础编程之数据类型操作——字典和集合
方式一直接定义：利用fromkeys类调用d = dict.fromkeys("abc",666) # 将该序列的每个元素赋值列表print(d)输出：注意：key不能重复（重复的话后值会把前值覆盖掉），并且为不可变类型（所谓不可变类型指的是在同一内存下，其不可再次改变）num=1num=2虽然num和列表都变动了，但num赋值的存储地址变了，而列表其存储地址都是271…224，证明列表为可变；赋值这个是不可变的。Python的字典，采用的是哈希（hash）的方式来实现的。
2024-09-21 15:50:10
538
原创 6-Python基础编程之数据类型操作——数值、布尔和字符串
Python基础编程之数据类型操作——数值、布尔和字符串数值整数浮点数复数常用操作布尔类型字符串字符串拼接字符串切片常用函数查找计算转换操作填充压缩分割拼接判定操作数值表现形式：整数（int）、浮点数（float）、复数（complex）分正负整数逢x进1二进制0b 包含01，逢2进1八进制0o 包含0-7，逢8进1十进制（默认）包含0-9十六进制0x 包含0-9，a-f浮点数由整数部分和小数部分组成：31.4科学计数法表示：3.14e1复数a+bj表示为：complex(
2024-09-11 15:01:12
582
原创 Python机器学习——利用Keras和基础神经网络进行手写数字识别（MNIST数据集）
其中：train_images保存用来训练的图像，train_labels是与之对应的标签。test_images和test_labels分别为用来验证的图像和标签，也就是验证集。对于输出 0-9 这10个标签而言，每个标签的地位应该是相等的，并不存在标签数字2大于数字1的情况。因此，在大部分情况下，都需要将标签转换为 one-hot 编码，也就独热编码，这样标签之间便没有任何大小而言。用 keras 中自带的mnist模块，加载数据集load_data进来，分别赋值给四个变量。每一行的向量代表一个标签。
2024-09-09 23:24:11
1168
原创 Python大数据分析——DBSCAN聚类模型（密度聚类）
Kmeans聚类存在两个致命缺点，一是聚类效果容易受到异常样本点的影响（因为求的是均值，而异常值对于均值聚类非常容易受到异常点影响）；二是该算法无法准确地将非球形样本进行合理的聚类。基于密度的聚类则可以解决非球形簇的问题，“密度”可以理解为样本点的紧密程度，如果在指定的半径领域内，实际样本量超过给定的最小样本量阈值，则认为是密度高的对象，就可以聚成一个簇。
2024-08-13 14:49:06
1189
1
原创 Python大数据分析——Kmeans聚类分析
对于有监督的数据挖掘算法而言，数据集中需要包含标签变量（即因变量y的值）。但在有些场景下，并没有给定的y值，对于这类数据的建模，一般称为无监督的数据挖掘算法，最为典型的当属聚类算法。Kmeans聚类算法利用距离远近的思想将目标数据聚为指定的k个簇，进而使样本呈现簇内差异小，簇间差异大的特征。
2024-08-11 16:00:02
1294
原创 Python大数据分析——SVM模型（支持向量机）
超平面的理解：在一维空间中，如需将数据切分为两段，只需要一个点即可；在二维空间中，对于线性可分的样本点，将其切分为两类，只需一条直线即可；在三维空间中，将样本点切分开来，就需要一个平面。
2024-08-08 10:33:25
1572
1
原创 Python大数据分析——朴素贝叶斯模型
请问在给定的信息下，对于高收入的公务员，并且其学历为硕士的男生来说，女孩是否愿意参与他的相亲？被预测为不经过上面的计算可知，当客户的年龄为24岁，并且收入为8500时，放贷的概率是4.8079x10-8，放贷的概率为2.1479x10-6，所以根据argmax P(Ci)P(X I Ci)的原则，最终该金融公司决定给客户放贷。结果所示，当用户的评论中只含有“还行”一词时，计算该评论为正面情绪的概率约为0.015，评论为负面情绪的概率约为0.00073，故根据贝叶斯后验概率最大原则将该评论预判为正面情绪。
2024-08-06 11:08:19
1265
原创 Python大数据分析——K近邻模型（KNN）
那么解决方法就是，一种是设置k近邻样本的投票权重，使用KNN算法进行分类或预测时设置的k值比较大，担心模型发生欠拟合的现象，一个简单有效的处理办法就是设置近邻样本的投票权重，如果已知样本距离未知样本比较远，则对应的权重就设置得低一些，否则权重就高一些，通常可以将权重设置为距离的倒数。对于连续型的因变量来说，则是将k个最近的已知样本均值用作未知样本的预测。还有一种方法是，采用多重交叉验证法，该方法是目前比较流行的方案，其核心就是将k取不同的值，然后在每种值下执行m重的交叉验证，最后选出平均误差最小的k值。
2024-07-11 21:12:54
1047
原创 Python大数据分析——决策树和随机森林
对于已知的事件A来说，事件D的信息增益就是D的信息熵与A事件下D的条件熵之差，事件A对事件D的影响越大，条件熵H(D|A)就会越小(在事件A的影响下，事件D被划分得越“纯净”)，体现在信息增益上就是差值越大，进而说明事件D的信息熵下降得越多。与信息增益类似，还需要考虑自变量对因变量的影响程度，即因变量的基尼指数下降速度的快慢，下降得越快，自变量对因变量的影响就越强。为了克服信息增益指标的缺点，提出了信息增益率的概念，"它的思想很简单，就是在信息增益的基础上进行相应的惩罚。浅色的椭圆表示树的中间节点；
2024-07-09 22:36:04
904
原创 Python大数据分析——Logistic回归模型
x轴叫阈值，图中的两条折线分别代表各分位点下的正例覆盖率和1-负例覆盖率，通过两条曲线很难对模型的好坏做评估，一般会选用最大的KS值作为衡量指标。通常绘制ROC曲线，不仅仅是得到左侧的图形，更重要的是计算折线下的面积，即图中的阴影部分，这个面积称为AUC。其中，α为学习率，也称为参数βj变化的步长，通常步长可以取0.1，0.05，0.01等。所以，性别变量的发生比率为e** β1，表示男性患癌的发生比约为女性患癌发生比的e**β1倍。正例命中率：表示正确预测的正例数在预测正例数中的比例，即D/(C+D)，
2024-05-11 21:41:26
1901
1
原创 Python大数据分析——岭回归和LASSO回归模型
因为根据线性回归模型的参数估计公式β=(X’X)-1X’y可知，得到β的前提是矩阵X’X可逆，但在实际应用中，可能会出现自变量个数多于样本量或者自变量间存在多重共线性的情况，即X’X的行列式为0。岭回归模型解决线性回归模型中矩阵X’X不可逆的办法是添加l2正则的惩罚项，但缺陷在于始终保留建模时的所有变量，首先将数据集拆分成k个样本量大体相当的数据组(如图中的第一行)，并且每个数据组与其他组都没有重叠的观测;然后从k组数据中挑选k-1组数据用于模型的训练，剩下的一组数据用于模型的测试(如图中的第二行);
2024-04-18 03:18:58
1272
原创 Python大数据分析——一元与多元线性回归模型
从返回的结果可知，只有截距项Intercept和研发成本RD Spend对应的p值小于0.05，其余变量都没有通过系数的显著性检验，即在模型中这些变量不是影响利润的重要因素。我们发现，计算出来的F统计量值174.64远远大于F分布的理论值2.50，所以应当拒绝原假设，即认为多元线性回归模型是显著的，也就是说回归模型的偏回归系数都不全为0。对于一元线性回归模型来说，其反映的是单个自变量对因变量的影响，然而实际情况中，影响因变量的自变量往往不止一个，从而需要将一元线性回归模型扩展到多元线性回归模型。
2024-04-14 21:33:59
1421
原创 Python数据分析必备工具——数据可视化Matplotlib模块及其应用
箱线图是另一种体现数据分布的图形，通过该图可以得知数据的下须值（Q1-1.5IQR）、下四分位数（Q1）、中位数（Q2）、均值、上四分位（Q3）数和上须值（Q3+1.5IQR），更重要的是，箱线图还可以发现数据中的异常点；虽然饼图可以很好地表达离散型变量在各水平上的差异，但其不擅长对比差异不大或水平值过多的离散型变量，因为饼图是通过各扇形面积的大小来比价差异的，面积的比较有时并不直观；气泡图的绘制，使用的仍然是scatter函数，区别在于函数的s参数被赋予了具体的数值型变量；通常折线图的横坐标指代。
2024-04-10 23:53:06
797
原创 Python数据分析必备工具——Pandas模块及其应用
df.head()：查看数据前5组df.shape：表示数据规模操作函数df.columns：变量列表df.dtypes：变量类型（object表示非数字类型或叫字符型）df.describe：统计描述（默认对数值型数据做统计表述，如非缺失数据的个数、均值、标准值等）df.describe(include=‘object’) 对字符型数据进行描述df.columns：列名称。
2024-03-29 21:51:43
1082
原创 Python数据分析必备工具——Numpy模块
数组是编程中一种强大的数据结构，它允许您存储和操作相同类型元素的集合。在 Python 中，数组是通过数组模块创建的，该模块提供了一个简单的接口来创建、操作和处理数组。特别的：矩阵是一种二维数组。
2024-03-19 17:06:47
1036
原创 Python的网络爬虫介绍与实战
网络爬虫是按照一定的规则，自动地抓取万维网（www）信息的程序或者脚本。借助于网络爬虫的技术，基本上可以做到所见即所得。比如：新闻、搜索引擎、微博、竞品分析和股票等。
2024-03-17 22:55:48
1705
1
原创 Python的自定义函数
定制化需求降低代码重复编写def function_name(parameters) : function_expression return(result) def 是define单词的缩写，为自定义函数的关键词function_name为自定义的函数名称parameters为自定义函数的形参，需要放在圆括号内function_expression为具体的函数体 return 用于返回函数的计算结果。
2024-02-21 14:45:55
396
1
原创 Python的控制流语句使用
单分支 if condition : expression # 双分支 if condition : expression1 else : expression2 # 多分支 if condition1 : expression1 elif condition2 : expression2 else : expression3。
2023-11-28 02:59:35
1017
原创 Python常见基础数据结构
{‘姓名’: ‘张三’, ‘年龄’: 33, ‘性别’: ‘男’, ‘子女’: {‘儿子’: ‘张四’, ‘女儿’: ‘张美’}, ‘兴趣’: [‘踢球’, ‘游泳’, ‘唱歌’], ‘身高’: 178}{‘姓名’: ‘张三’, ‘年龄’: 35, ‘性别’: ‘男’, ‘子女’: {‘儿子’: ‘张四’, ‘女儿’: ‘张美’}, ‘兴趣’: [‘踢球’, ‘游泳’, ‘唱歌’], ‘身高’: 178}[‘江苏’, ‘安徽’, ‘浙江’, ‘上海’, ‘山东’, ‘山西’, ‘湖南’, ‘湖北’]
2023-11-26 16:59:09
1101
原创 12 Python 与 MySQL 数据库交互（含案例实战2：把金融数据存入数据库中）
Python与数据库进行连接，并实战配套将爬虫出来的金融数据存入数据库当中去。怎么爬怎么处理可以看我之前写的 7案例实战1，因为网页规则大体不变，但会有小的改变，所以你会发现我本次进行的信息处理和之前不一样，不过大体上是一样的，请学习前面文章，后面我会继续更新数据清洗优化
2022-09-12 11:07:35
1469
1
原创 我的NVIDIA开发者之旅——利用NVIDIA TAO工具包3.0和Deepstream快速搭建车辆信息识别系统
汽车检测以及车牌信息视频源—— 视频流处理（RTSP/RAW、DECODE）—— 预处理大小、分辨率等（IMAGE PROCESSING）—— 批次处理即几张图片组合到一起进行处理（BATCHING）—— 推理任务（DNN(s)）—— 进行更多操作如追踪任务（TRACKING）—— 显示合成（VIZ）—— 输出（DISPLAY/STORAGE/CLOUD）...
2022-06-07 15:31:37
1101
原创 OpenCV——Python：图像投影向量与堆叠4
图像投影向量（warping perspective）# 进行图像转换，选取目标并正视import cv2import numpy as npimg = cv2.imread("2.jpg") # 读取图像width, height = 205, 350 # 定义框大小pts1 = np.float32([[111, 219], [287, 188], [154, 482], [352, 440]]) # 可以用电脑的画图，捕捉作标，从而选取作标pts2 = np.float3
2022-05-25 15:01:57
504
原创 OpenCV——Python：像素调整、图片裁剪、形状与文字设置3
像素调整与图片裁剪import cv2img = cv2.imread("2.jpg") # 读取图像print(img.shape) # 查看图像长，宽，通道数imgResize = cv2.resize(img, (300, 200)) # 调整图片像素imgCropped = img[0:200, 200:500] # 裁剪图片；先y后x（先高后宽）cv2.imshow("Output1", img)cv2.imshow("Output2", imgResize
2022-05-24 21:36:40
1169
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人