- 博客(40)
- 收藏
- 关注
RSS订阅原创 数据收集之微信公众号
添加了自动生成headers params部分字段的功能。封禁自动切换用户信息（四个用户即可实现无阻碍爬取）添加了多用户信息分批爬取的功能（用户池）
2024-08-08 21:13:57
241
原创 操作系统实验四-LRU算法的模拟
操作系统实验四：页式虚拟存储管理的模拟一、实验目的：掌握存储管理的基本原理、地址变换过程；用软件实现地址转换过程；用一种常用的页面置换算法来处理缺页中断并研究其命中率。二、实验题目：1、模拟请求分页存储管理的地址变换。（1）请求分页虚拟存储器技术是把进程地址空间的全部信息存放在磁盘交换区上。当进程被选中运行时，先把进程的开始几页装入主存并启动运行。为此，在为进程建立页表时，应说明哪些页已在主存，哪些页不在主存。页表的格式如下表1所示：表1 页表页号 有效位 主存块号 修改位 外存地址︙ ︙
2022-05-11 09:04:16
2901
1
原创 使用yolov5来训练模型
YOLOV5训练自己的模型YOLOv5的介绍使用预训练模型训练模型过程自己整YOLOv5的介绍YOLOv5(You Only Look Once)是由 UitralyticsLLC公司发布的一种单阶段目标检测算法，YOLOv5 相比YOLOv4 而言，在检测平均精度降低不多的基础上，具有均值权重文件更小，训练时间和推理速度更短的特点YOLOv5下载地址使用预训练模型下载后我们可以在这里下载一些预训练模型（权重文件）接下来打开我们的pycharm开始使用模型啦可以把下载的模型放在根目录下
2022-01-03 12:57:02
11751
1
原创 opencv项目week4
opencv项目week4答题卡批改图像预处理轮廓检测透视变换阈值（二值）处理找选择结果找到所有圆对每一题的五个选项进行操作答题卡批改图像预处理image = cv2.imread('images/test_04.png')cv_show("img",image)#灰度图gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)#高斯滤波：平滑图像，去除噪音blurred = cv2.GaussianBlur(gray, (5, 5), 0)cv_show
2021-12-26 22:22:02
1687
原创 二叉排序树
二叉排序树二叉排序树构建结构创建展示查找（递归非递归）删除结果二叉排序树构建结构typedef int KeyType; typedef struct node{ KeyType key; int data; struct node*lchild,*rchild;}BSTNode;创建BSTNode* CreateBST(int a[],int n){ BSTNode *bt=NULL; int i=0; while(i<n){ InsertBST(bt,a[i]);
2021-12-26 21:13:25
684
原创 数据结构笔记-图（C++）
数据结构笔记-图图图的两种存储结构图的两种遍历方法DFS深度优先遍历深度优先遍历非递归方法BFS广度优先遍历调用过程判断是否是一棵树图图的两种存储结构图的表示方式有两种：二维数组表示（邻接矩阵）；链表表示（邻接表）。邻接矩阵邻接矩阵是表示图形中顶点之间相邻关系的矩阵，n个顶点的图而言，矩阵是的row和col表示的是1....n个点。邻接表邻接矩阵需要为每个顶点都分配n个边的空间，其实有很多边都是不存在,会造成空间的一定损失.邻接表的实现只关心存在的边，不关心不存在的边。因此没有空间浪费
2021-12-19 15:12:53
1052
原创 opencv实战week2
opencv实战week2图像特征harris调用方法sift图像特征篇我个人觉得就是数学计算方法，实际调用很简单所以本篇是基本原理便于加深理解图像特征harris基本原理：调用方法import cv2# cv2.cornerHarris()# img:数据类型为float32的入图像# blockSize:角点检测中指定区域的大公# ksize: Sobel求导中使用的窗口大小# k:取值参数为[0.04,0.06]def cv_show(name,img):
2021-12-18 13:57:58
2259
原创 opencv实战week1
opencv实战week1opencv实战week1实战1-信用卡数字识别step1-创建数字识别模板（1-10）opencv实战week1实战1-信用卡数字识别step1-创建数字识别模板（1-10）先转换为灰度图再二值化#灰度图ref=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)#二值化ref=cv2.threshold(ref,10,255,cv2.THRESH_BINARY_INV)[1]1.计算轮廓cv2.findContours()函数接受的参
2021-12-05 11:22:05
3044
原创 opencv studay3
opencv3图像基本操作6-图像阈值图像基本操作6-图像阈值cat=cv2.imread('picture/cat.jpg')ret,thresh1=cv2.threshold(cat,127,255,cv2.THRESH_BINARY)ret,thresh2=cv2.threshold(cat,127,255,cv2.THRESH_BINARY_INV)ret,thresh3=cv2.threshold(cat,127,255,cv2.THRESH_TRUNC)ret,thresh4=cv2
2021-11-26 22:03:29
2006
原创 opencv day2
opencv——day2图像基本操作3-ROI（只读取图像的一部分）边界填充数值计算图像基本操作3-ROI（只读取图像的一部分）#3.图像基本操作3-ROI（只取图像的一部分）img=cv2.imread('cat.jpg')#切片cat=img[0:200,0:200]cv_show('cat',cat)#颜色通道提取b,g,r=cv2.split(img)#合并img=cv2.merge((b,g,r))cv_show('cat',img)#只保留Rcur_img=img.co
2021-11-21 11:27:51
1741
原创 开始opencv
opencv下载配置anaconda配置环境变量安装opencv包opencv之图像基本操作下载配置anaconda配置环境变量将下列路径添加到path中D:\anaconda\Library\binD:\anaconda\ScriptsD:\anaconda安装opencv包在anaconda的anaconda prompt中输入anaconda路径再在Scripts中输入pip install opencv-python和opencv-contrib-python因为在3.2版本之
2021-11-14 23:34:00
2730
原创 数据结构9
查找算法二分法查找实现方法插值查找实现方法斐波那契查值哈希链表班级管理c++语言实现代码如下二分法查找实现方法 public static int binarysearch(int []a,int left,int right,int findVal) { int mid=(left+right)/2; if(left>right)return -1; int midval=a[(left+right)/2]; if(midval<findVal) { return
2021-11-02 20:26:39
432
原创 数据结构8
数据结构8之归并排序定义排序结构分治代码实现定义归并排序（MERGE-SORT）是利用归并的思想实现的排序方法，该算法采用经典的分治(divide-and-conquer）策略（分治法将问题分(divide)成一些小的问题然后递归求解，而治(conquer)的阶段则将分的阶段得到的各答案"修补"在一起，即分而治之)。排序结构分可以看到这种结构很像一棵完全二叉树，本文的归并排序我们采用递归去实现（也可采用迭代的方式去实现）。分阶段可以理解为就是递归拆分子序列的过程。治我们需要将两个已经有序的子
2021-10-30 21:50:05
112
原创 数据结构7
数据结构7快速排序算法选中间的元素当pivot选头元素当pivot测试类快速排序算法在快速排序的过程中，每一次我们要取一个元素作为枢纽值，以这个数字来将序列划分为两部分。在此我们采用三数取中法，也就是取左端、中间、右端三个数，然后进行排序，将中间数作为枢纽值。也可以用第一个元素当pivot值左右指针轮回移动选中间的元素当pivotprivate void quickSort1(int[]a,int left,int right) { int l=left; int r=right;
2021-10-04 18:58:07
96
原创 2021-10-03
机器学习3scikit-learn数据集API介绍数据集sklearn.datasets获取数据集返回的类型sklearn分类数据集数据集进行分割转换器与预估器分类算法K-近邻算法数据的处理实例流程优缺点scikit-learn数据集API介绍数据集sklearn.datasets获取数据集返回的类型sklearn分类数据集import sklearn.datasetsll=sklearn.datasets.load_iris()print("特征值",ll.data)prin
2021-10-03 17:18:15
122
原创 数据结构6
数据结构6选择排序插入排序希尔排序选择排序选择排序也是一种简单的排序方法。它的基本思想是：第一次从arr[0]~arr[n-1]中选取最小值，与arr[0]交换，第二次从arr[1]~arr[n-1]中选取最小值，与arr[1]交换，第三次从arr[2]~arr[n-1]中选取最小值，与arr[2]交换，…，第i次从arr[i-1]~arr[n-1]中选取最小值，与arr[i-1]交换，…, 第n-1次从arr[n-2]~arr[n-1]中选取最小值，与arr[n-2]交换，总共通过n-1次，得到一个按
2021-09-28 10:33:35
101
原创 决策树可视化
graphviz决策树使用Graphviz可视化决策树决策树决策树算法起源于E.B.Hunt等人于1966年发表的论文“experiments in Induction”，但真正让决策树成为机器学习主流算法的还是Quinlan（罗斯.昆兰）大神（2011年获得了数据挖掘领域最高奖KDD创新奖），昆兰在1979年提出了ID3算法，掀起了决策树研究的高潮。现在最常用的决策树算法是C4.5是昆兰在1993年提出的。（关于为什么叫C4.5，还有个轶事：因为昆兰提出ID3后，掀起了决策树研究的高潮，然后ID4，I
2021-09-26 19:30:12
147
原创 数据结构5
数据结构5算法的时间复杂度忽略常数项忽略低次项忽略系数算法的时间复杂度常见的时间复杂度各种阶数算法排序算法8种排序算法的时间复杂度冒泡排序及优化算法的时间复杂度时间频度：一个算法花费的时间与算法中语句的执行次数成正比例，哪个算法中语句执行次数多，它花费时间就多。一个算法中的语句执行次数称为语句频度或时间频度。记为T(n)。忽略常数项结论:2n+20 和 2n 随着n 变大，执行曲线无限接近, 20可以忽略3n+10 和 3n 随着n 变大，执行曲线无限接近, 10可以忽略忽略低次项结
2021-09-26 10:03:45
294
原创 数据结构4
数据结构4栈栈的特点出栈和入栈栈的应用数组模拟栈模拟数组类栈操作类栈应用实例---综合计算器栈类栈实例类实现对字符串的入栈出栈运算操作最后对数字栈中的+-运算结果算出栈栈的特点1.栈的英文为(stack)2.栈是一个先入后出(FILO-First In Last Out)的有序列表。3.栈(stack)是限制线性表中元素的插入和删除只能在线性表的同一端进行的一种特殊线性表。允许插入和删除的一端，为变化的一端，称为栈顶(Top)，另一端为固定的一端，称为栈底(Bottom)。4.根据栈的定义可知，
2021-09-24 10:53:51
83
原创 数据结构3
数据结构3单向链表的附加功能反转链表找到倒数第k个节点双向链表功能实现英雄类功能实现类单向链表的附加功能反转链表//返回反转后的头指针public HeroNode reverList(HeroNode head) { if(head.next == null || head.next.next == null) { return head; } HeroNode pre=null; HeroNode cur=head.next; HeroNode temp=cur.nex
2021-09-20 22:42:43
115
原创 2021-09-18
java数据结构2线性队列功能实现增加元素出列操作显示队列的情况查看队列头元素退出操作环形队列功能实现增加元素出列操作显示队列情况查看队列头元素判断队列是否为空和已满线性队列功能实现增加元素public void addQueue(int n) { if (isFull()) { System.out.println("队列已满"); } rear++; arr[rear] = n;}出列操作public int getQueue() { if (isEmpty()) {
2021-09-19 16:59:11
141
原创 2021-09-18
机器学习特征工程数据的特征提取字典特征提取--DictVectorizer类文本（英文）特征提取文本（中文）特征提取CountVectorizer法TfidfVectorizer法数据的特征预处理1.归一化处理2.标准化处理3.缺失值处理（同pandas）数据降维(1)特征选择(2)主成分分析特征工程数据的特征提取字典特征提取–DictVectorizer类from sklearn.feature_extraction import DictVectorizerdict = DictVectori
2021-09-18 21:54:45
101
原创 2021-09-17
java数据结构数据结构线性结构非线性结构稀疏数组和队列稀疏sparsearray数组举例数据结构线性结构1）线性结构作为最常用的数据结构，其特点是数据元素之间存在一对一的线性关系2）线性结构有两种不同的存储结构，即顺序存储结构和链式存储结构。顺序存储的线性表称为顺序表，顺序表中的存储元素是连续的3）链式存储的线性表称为链表，链表中的存储元素不一定是连续的，元素节点中存放数据元素以及相邻元素的地址信息4）线性结构常见的有:数组、队列、链表和栈，后面我们会详细讲解.非线性结构非线性结构包括:二
2021-09-17 19:37:50
70
原创 2021-09-10
爬取网站加密视频准备工作目标网站抓取视频分析1抓取视频分析2密匙思路开始爬虫附准备工作目标网站测试电影网站抓取视频分析1从这里我们可以找到视频的网址其中url1：https://vod10.bdzybf.com/20210818/sdtRN58R/index.m3u8是存放存放m3u8文件的文件的网址我们用抓包工具可以看到这个网址的response是第三行就是真正存放m3u8文件的网址抓取视频分析2我们可以发现这个网址和url1仅仅差了/1000kb/hls我们请求到url2：ht
2021-09-11 12:23:11
1049
原创 2021-08-28
概率论2抽样分布常用统计量的分布数学期望，矩，方差，协方差常见分布的数学期望与方差大数定律和中心极限定理抽样分布常用统计量的分布数学期望，矩，方差，协方差常见分布的数学期望与方差大数定律和中心极限定理...
2021-08-28 21:21:31
70
原创 2021-08-14
数据分析3pandas学习内容pandas基础pandas之Series创建pandas之Series切片和索引pandas之Series的索引和值自定义行列索引DataFrame 二维容器创建DataFrame的基础性质数据布尔索引索引数据df.loc通过标签索引行数据df.iloc通过位置获取行数据赋值更改数据loc方法的应用pandas的时间序列重采样读取文件数据数据分析综合示例1.使用matplotlib呈现店铺总数排名前10的国家使用matplotlib呈现中国每个城市的店铺数量统计不同年份书的数
2021-08-14 21:59:06
150
原创 2021-08-12
数据分析2numpy学习内容创建数组(矩阵)：按某种形式输出保留小数关于数组的形状及转化数组之间的计算转置数值及索引三元运算符常用方法ps：数据缺失numpy学习内容创建数组(矩阵)：a=np.array([1,2,3,4,5])b=np.array(range(1,6))c=np.arange(1,6)按某种形式输出t2=np.array([1,0,1,0],dtype='?')print(t2)print(t2.astype("i1"))这里的dtype指创建数组的类型t2.
2021-08-12 20:25:35
90
原创 2021-08-08
数据分析一：matplotlib认识jupyter notebookmatplotlib库matplotlib基本要点及绘制折线图绘制散点图绘制条形图绘制直方图基本组成示例认识jupyter notebookmatplotlib库matplotlib基本要点及绘制折线图数组存储xyx=range(2,26,2)y=[15,13,14,17,20,25,26,26,24,22,18,15]将数据放进图中plt.plot(x,y)保存图片plt.savefig("./sig_size.
2021-08-08 10:33:46
84
原创 2021-08-01
线性代数3相似矩阵和二次型正交矩阵方阵特征值和挑战向量（半）正定矩阵对称阵A对角化二次型及其他标准型相似矩阵和二次型正交矩阵方阵特征值和挑战向量（半）正定矩阵对称阵A对角化二次型及其他标准型...
2021-08-01 09:54:10
77
原创 2021-07-03
线程+爬虫线程线程的具体实现步骤实例：爬新发地菜价信息线程线程的具体实现步骤导包：from threading import ThreadNO.1这里我们定义俩方法def func(): for i in range(1000): print("func",i)def funa(name): for i in range(1000): print(name,i)线程的实现if __name__ == '__main__': t
2021-07-03 16:27:25
149
原创 2021-05-23
bs4使用1.拿到页面源代码2.使用bs4进行解析，拿到数据首先基本框架import requestsfrom bs4 import BeautifulSoupimport csvurl = "http://www.xinfadi.com.cn/marketanalysis/0/list/1.shtml"resp = requests.get(url)f = open("菜价.csv", mode="w",encoding="utf-8")cswriter = csv.writer(f
2021-05-24 11:13:34
93
原创 2021-05-16
爬虫示例代码导包import requestsimport reurl head resp 处理源码url="https://movie.douban.com/chart"head={ "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3868.400 QQBrows
2021-05-16 16:15:37
139
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人