林光虚霁晓-CSDN博客

原创【streamlit】write函数、滑块组件slider、文本框操作、多选框、下拉框selectbox、侧边栏sidebar、单选按钮radio、进度条、文件上传、图例显示

slider"的中文意思是"滑块”。滑块的外观通常是一个可拖动的滑块，用户可以通过移动滑块来选择所需的值。返回的是一个容器对象的列表，每个对象都可以用来添加元素。通过调用 st.columns，您可以插入多个多元素容器，并将它们布局为并排的形式。返回的是一个容器对象的列表，每个对象都可以用来添加元素。直方图的 x 轴表示数据的取值范围，y 轴表示该取值范围内数据点的数量或频率。调用 st.expander，您可以插入一个可展开或折叠的容器，用于包含多个元素。容器的初始状态是折叠的，只显示提供的标签。

2024-09-17 19:17:41 1235

原创【pyecharts】柱状图绘制(添加工具箱配置)、饼图绘制

pyecharts 是一个用于生成 Echarts 图表的Python库。Echarts是百度开源的一个数据可视化 JS 库，可以生成一些非常酷炫的图表。

2024-09-17 19:06:35 187

原创【matplotlib】线图plot、散点图scatter、条形图bar和barh、饼图pie、图像的保存savefig、直方图/密度图hist

【代码】【matplotlib】线图plot、散点图scatter、条形图bar和barh、饼图pie、图像的保存savefig、直方图/密度图hist。

2024-09-17 19:00:59 921

原创【Pandas操作2】groupby函数、pivot_table函数、数据运算(map和apply)、重复值清洗、异常值清洗、缺失值处理

异常值是指样本中出现的“极端值”，数据值看起来异常大或异常小，其分布明显偏离其余的观测值。异常值是分析师和数据科学家常用的术语，因为它需要密切注意，否则可能导致错误的估计。异常值在统计学上的全称是疑似异常值，也称作离群点，异常值的分析也称作离群点分析。map函数对Series数据的运算处理(map作为Series的运算工具)简单来说，异常值是一个观察值，远远超出了样本中的整体模式。异常值分析是检验数据中是否存在不合常理的数据。

2024-09-13 18:32:52 686

原创 pandas中loc和iloc的区别

特性loc（基于标签）iloc（基于位置）索引类型行/列的标签（可以是字符串、日期等）行/列的整数位置支持的索引标签索引、布尔索引整数位置索引示例df.iloc[0]切片标签的范围包含最后一个索引（闭区间）索引的范围不包含最后一个位置（开区间）

2024-09-13 16:38:48 371

原创【Pandas操作1】Series(索引、切片、常用方法)、DataFrame(常用属性、索引操作、切片操作、数据查看、数据保存与加载、操作excel、把数据写入到数据库)、股票分析案例

计算股票的每日收益率和7日波动率：通过计算收益率和波动率，我们可以评估股票的风险和收益情况。

2024-09-13 15:08:39 934

原创【OpenCV-直方图与傅里叶变换】图像的基本变换、傅里叶变换、直方图

我们生活在时间的世界中，早上7:00起来吃早饭，8:00去挤地铁，9:00开始上班。opencv中主要就是cv2.dft()和cv2.idft()，输入图像需要先转换成np.float32 格式。cv2.dft()返回的结果是双通道的（实部，虚部），通常还需要转换成图像格式才能展示（0,255）。得到的结果中频率为0的部分会在左上角，通常要转换到中心位置，可以通过shift变换来实现。高通滤波器：只保留高频，会使得图像细节增强。低频：变化缓慢的灰度分量，例如一片大海。高频：变化剧烈的灰度分量，例如边界。

2024-09-09 18:00:06 1323

原创【OpenCV-图像金字塔与轮廓检测】图像金字塔与轮廓检测(缩小、放大)、拉普拉斯金字塔、图像轮廓(绘制轮廓、轮廓特征、轮廓近似、边界矩形、外接圆)、模板匹配-匹配多个对象

模板匹配和卷积原理很像，模板在原图像上从原点开始滑动，计算模板与(图像被模板覆盖的地方) 的差别程度，这个差别程度的计算方法在opencv里有6种, 然后将每次计算的结果放入一个矩阵里，作为输出结果。假如原图形是AxB大小，而模板是axb大小，则输出结果的矩阵是(A-a+1)x(B-b+1)模板匹配（Template Matching）是一种在图像中查找模板图像位置的方法。method:轮廓逼近方法。mode:轮廓检索模式。

2024-09-09 17:31:42 513

原创【OpenCV-边缘检测】高斯滤波器、梯度和方向、非极大值抑制、双阈值检测

【代码】【OpenCV-边缘检测】高斯滤波器、梯度和方向、非极大值抑制、双阈值检测。

2024-09-09 17:11:49 297

原创【OpenCV-图像梯度】Scharr算子和laplacian算子

白到黑是正数，黑到白就是负数了，所有的负数会被截断成0，所以要取绝对值分别计算x和y，再求和。

2024-09-09 17:05:00 384

原创【OpenCV-图像形态学操作】礼帽与黑帽、梯度运算、开运算与闭运算、形态学-膨胀操作、形态学-腐蚀操作

【代码】【OpenCV-图像形态学操作】礼帽与黑帽、梯度运算、开运算与闭运算、形态学-膨胀操作、形态学-腐蚀操作。

2024-09-09 16:54:45 389

原创【OpenCV-阈值与平滑处理】灰度图、HSV、图像阈值、图像平滑处理(方框滤波、均值滤波、高斯滤波、中值滤波)

type：二值化操作的类型，包含以下5种类型： cv2.THRESH_BINARY；cv2.THRESH_BINARY 超过阈值部分取maxval（最大值），否则取0。cv2.THRESH_TRUNC 大于阈值部分设为阈值，否则不变。cv2.THRESH_BINARY_INV THRESH_BINARY的反转。cv2.THRESH_TOZERO_INV THRESH_TOZERO的反转。thresh：阈值。

2024-09-09 16:34:33 734

原创【OpenCV-图像处理】数据读取-视频、截取部分图像、颜色通道提取-将多个单通道图像(如 B、G、R)合并为一个多通道图像、边界填充-扩展效果、数值计算、图像融合-按权重合并两张图像

【代码】【OpenCV01】数据读取-视频、截取部分图像、颜色通道提取-将多个单通道图像(如 B、G、R)合并为一个多通道图像、边界填充-扩展效果、数值计算、图像融合-按权重合并两张图像。

2024-09-09 16:22:43 233

原创【OpenCV4】滤波器、图片卷积、步长、padding、卷积核的大小、方盒滤波与均值滤波、高斯滤波、中值滤波、双边滤波、边缘检测Canny(重要)、索贝尔算子、沙尔算子、拉普拉斯算子

双边滤波本质上是高斯滤波, 双边滤波和高斯滤波不同的就是:双边滤波既利用了位置信息又利用了像素信息来定义滤波窗口的权重。双边滤波中加入了对灰度信息的权重，即在邻域内，灰度值越接近中心点灰度值的点的权重更大，灰度值相差大的点权重越小。高斯滤波就是使用符合高斯分布的卷积核对图片进行卷积操作. 所以高斯滤波的重点就是如何计算符合高斯分布的卷积核, 即高斯模板.双边滤波对于图像的边缘信息能过更好的保存。高斯滤波的核心思想是让临近的像素具有更高的重要度. 对周围像素计算加权平均值, 较近的像素具有较大的权重值.

2024-09-07 21:39:11 1159

原创【OpenCV3】图像的翻转、图像的旋转、仿射变换之图像平移、仿射变换之获取变换矩阵、透视变换

getAffineTransform(src[], dst[]) 通过三点可以确定变换后的位置, 相当于解方程, 3个点对应三个方程, 能解出偏移的参数和旋转的角度.仿射变换是图像旋转, 缩放, 平移的总称.具体的做法是通过一个矩阵和和原图片坐标进行计算, 得到新的坐标, 完成变换. 所以关键就是这个矩阵.getPerspectiveTransform(src, dst) 获取透视变换的变换矩阵, 需要4个点, 即图片的4个角.仿射变换的难点就是计算变换矩阵, OpenCV提供了计算变换矩阵的API。

2024-09-07 18:57:33 1197

原创【OpenCV2.1】基础知识和绘制图形、OpenCV的色彩空间转换、RGB和BGR、HSV, HSL和YUV、mat(深浅拷贝、访问图像属性、通道的分离与合并、绘制图形)

Mat是OpenCV在C++语言中用来表示图像数据的一种数据结构.在python中转化为numpy的ndarray.Mat由header和data组成, header中记录了图片的维数, 大小, 数据类型等数据.

2024-09-07 13:08:50 811

原创【OpenCV2.2】图像的算术与位运算(图像的加法运算、图像的减法运算、图像的融合)、OpenCV的位运算(非操作、与运算、或和异或)

图片的融合操作相当于对图片进行线性运算 w1* x1 + w2 * x2 + b. 其中alpha是第一个权重参数, beta是第二个权重参数, gamma是偏差.bitwise_and(img1, img2) 与运算, 图片对应位置元素进行与操作. 表现出来的效果就是黑和黑与还是黑, 白和白与还是白.图片就是矩阵, 图片的加法运算就是矩阵的加法运算, 这就要求加法运算的两张图shape必须是相同的.bitwise_xor 异或运算对应元素做异或运算。bitwise_or 或运算对应元素做或运算。

2024-09-07 12:24:44 1021

原创【OpenCV1】虚拟环境的使用、opencv的使用、图像和视频的创建和显示、创建和显示窗口、加载显示图片、保存图片、视频采集、视频录制、控制鼠标、Trackbar控件

现在说的机器视觉(Machine Vision)一般指计算机视觉(Computer Vision), 简单来说就是研究如何使机器看懂东西.就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。- Gray Bradsky于1999年开发, 2000年发布- 跨平台(Windows, Linux, Mac...)为什么选择python语言:- python语言简单, 开发速度快。

2024-09-06 17:46:16 942

原创【docker-compose】docker-compose的详细使用

我们知道使⽤⼀个 Dockerfile 模板⽂件，可以让⽤户很⽅便的定义⼀个单独的应⽤容器。然⽽，在⽇常⼯作中，经常会碰到需要多个容器相互配合来完成某项任务的情况。例如要实现⼀个 Web 项⽬，除了 Web 服务容器本身，往往还需要再加上后端的数据库服务容器，甚⾄还包括负载均衡容器等，我们只能一个一个 ` 写dockerfile文件，然后bulid构建，run手动操作单个容器 ` Compose 恰好满⾜了这样的需求。

2024-09-05 16:59:33 1782

原创【docker重要】docker的下载安装、容器与docker、Dockerfile的写法、docker-compose、Harbor

【代码】【docker】docker的下载安装、容器与docker。

2024-09-04 16:36:50 964

原创【linux】Cannot find a valid baseurl for repo: base/7/x86_64、linux常见的命令、linux文件解压和上传文件和打包文件

【代码】【linux】Cannot find a valid baseurl for repo: base/7/x86_64、linux常见的命令。

2024-09-04 15:49:36 2275

原创不用upper和lower方法实现大小写转换

【代码】不用upper和lower方法实现大小写转换。

2024-09-03 21:40:02 231

原创【Anaconda】修改jupyter notebook默认打开的工作目录、jupyter notebook快捷键

为了防止出错，先把原来的路径拷贝一份便于恢复。之后再打开就是自己设置的工作目录了。

2024-09-03 16:26:49 618

原创【协程】多任务的异步爬虫

【代码】【协程】多任务的异步爬虫。

2024-09-02 22:24:47 507

原创【numpy+pandas】数据可视化模块之matplotlib、饼图、条形图、图的绘制(直方图、箱线图、折线图、气泡图、热力图、组合图)

数据可视化的方式有很多借助于模块matplotlibseabornpyecharts借助于软件excelTableauPowerBI图形可视化常见网站。

2024-08-29 19:56:37 396

原创【pandas2】表格数据的行列操作、查询指定的数据内容、数据类型处理、缺失值处理和透视表、分组与聚合、数据的纵向合并(扩展数据)、数据的横向合并(连接表)

【pandas2】表格数据的行列操作、查询指定的数据内容、数据类型处理、缺失值处理和透视表、分组与聚合、数据的纵向合并(扩展数据)、数据的横向合并(连接表)

2024-08-29 15:57:18 262

原创【pandas1】数据结构之Series和【重要】数据结构之DataFrame、缺失数据、布尔选择器、索引、数据操作、基本算术方法、数据库数据读取常用属性及方法、文本文件读取、excel表格读取、

1. 基于Numpy构建 2 . pandas的出现，奠定了python数据分析领域的一哥地位pandas的主要功能 1. 具备诸多功能的两大数据结构都是基于Numpy构建出来的公司中使用频繁的是DataFrame，而Series是构成DataFrame的基础 , 即一个DataFrame可能由N个Series构成 2. 集成时间序列功能 3. 提供丰富的数学运算和操作(基于Numpy) 4. 灵活处理缺失数据。

2024-08-28 20:33:11 284

原创【numpy2】python计算BMI指数、numpy（数组、数据类型、常用属性、常见方法、索引与切片、比较运算符、基本函数、必会函数、随机数模块、赌场案例）

【代码】【numpy2】python计算BMI指数、numpy（数组、数据类型、常用属性、常见方法、索引与切片、比较运算符、基本函数、必会函数、随机数模块、赌场案例）

2024-08-28 17:13:41 384

原创【numpy1】ipython模块、jupyter模块、Anaconda主要功能、notebook详细功能、数据分析三剑客、numpy实现BMI指数

【代码】【numpy1】ipython模块、jupyter模块、Anaconda主要功能、notebook详细功能、数据分析三剑客、numpy实现BMI指数。

2024-08-28 16:58:37 463

原创 celery笔记1

【代码】celery笔记1。

2024-08-26 18:57:56 576

原创【celery-3】Django-Celery-Flower实现异步和定时爬虫及其监控邮件告警

虽然可以通过界面来监控了，但是我们想要得更多，人不可能天天盯着界面看吧，如果能实现任务执行失败就自动发邮件告警就好了。这个Celery当然也是没有问题的。Flower 是一个用于监控和管理 Celery 集群的开源 Web 应用程序。如果不想通django的管理界面监控任务的执行，还可以通过Flower插件来进行任务的监控。Flower的界面更加丰富，可以监控的信息更全。在settings.py中屏蔽到原来的调度器，加入。通过钩子程序在异常的时候触发邮件通知。在任务成功或失败的时候发邮件通知。

2024-08-25 23:07:13 874