- 博客(56)
- 收藏
- 关注
RSS订阅原创 创建一个异步爬虫并将数据存入excel
事例网站链接: https://xk.scjgj.sh.gov.cn/xzxk_wbjg/#/tzdwSYDJList1️⃣对列表页请求获取有关详情页的字段值2️⃣构造详情页的URL获取详情页数据3️⃣将数据存入excel
2024-10-21 16:42:47
864
原创 处理需要登录获取cookie的两种方法
1️⃣对登录网页发送请求获取初始cookie2️⃣携带初始cookie请求验证码图片3️⃣本地还原密码加密过程4️⃣携带初始cookie提交数据获得登录状态cookiejs加密函数。
2024-10-15 16:30:04
923
原创 python爬虫滑块验证及各种加密函数(基于ddddocr进行的一层封装)
小滑块为单独的png图片，背景是透明图，如下图。然后背景为带小滑块坑位的，如下图。返回图片中显示的滑块图缺口坐标。一张图为带坑位的原图，如下图。返回给图片中显示的验证码。一张图为原图，如下图。
2024-08-13 16:42:16
560
原创 python爬虫获取网易云音乐评论歌词以及歌曲地址
JSON.stringify 是 JavaScript 中的一个全局函数，用于将一个 JavaScript 值（如 JavaScript 对象或数组）转换为 JSON 格式的字符串。这对于将数据保存到文件、在网页之间传递数据、或发送到服务器（例如通过 AJAX 请求）非常有用，因为 JSON 是一种轻量级的数据交换格式，易于人阅读和编写，同时也易于机器解析和生成。首先我们要获取Qu1x.md的值我们直接控制台输入Qu1x.md。因为这三个接口的加密是一样的这里我们用评论的接口来讲解。
2024-07-19 19:30:49
1525
1
原创 获取欧洲时报中国板块前新闻数据-scrapy
起始url为’https://cms.offshoremedia.net/front/list/latest?
2024-07-18 00:14:08
412
1
原创 获取欧洲时报中国板块前新闻数据(多线程版)
并且使用了PooledDB模块来在多线程是操作数据库。我们首先通过抓包就能够找到我们所需数据的api。由于单线程速度较慢所以我们使用了线程池。
2024-07-16 17:45:53
383
1
原创 Based on Sony‘s comparison of the two models in the Sony-based Spresense eye-following platform
Based on Sony's comparison of the two models in the Sony-based Spresense eye-following platform
2024-07-02 23:02:52
750
原创 基于索尼基于索尼Spresense的眼睛跟随平台2.0详解(Based on Sony‘s detailed explanation of the Sony Spresense Eye Follow)
基于索尼基于索尼Spresense的眼睛跟随平台2.0详解(Based on Sony's detailed explanation of the Sony Spresense Eye Follow)
2024-07-02 19:13:25
1169
原创 基于索尼Spresense的眼睛跟随平台软件服务端代码详解(Detailed explanation of the server-side code of the software software)
基于索尼Spresense的眼睛跟随平台软件服务端代码详解(Detailed explanation of the server-side code of the software software)
2024-07-02 01:36:07
834
原创 基于索尼Spresense的眼睛跟随平台软件客户端代码详解（A detailed explanation of the software client code based on Sony‘s Sp）
基于索尼Spresense的眼睛跟随平台软件客户端代码详解（A detailed explanation of the software client code based on Sony‘s Sp）
2024-07-01 22:47:14
787
原创 使用neural_network_console训练模型并导出.nnb文件应用于索尼spresense
首先你需要一个csv标记的数据集然后我们使用neural_network_console将数据集进行处理用户可以通过该界面选择源目录（Source Dir），输出目录（Output Dir），并设定一些其他选项来生成适合机器学习模型使用的数据集。具体来说，用户可以选择不同的塑造模式（Shaping Mode）：•Trimming：裁剪图像，使其大小符合指定的宽度和高度。•Padding：填充图像，使图像的大小达到指定的宽度和高度。•Resize：调整图像的大小至指定的宽度和高度。
2024-05-31 11:52:42
300
原创 对北京新发地当时菜品三十天内价格分布式爬取（1）---(获取当时菜品数据并构建请求数据推入redis)
本次项目网页url北京新发地: http://www.xinfadi.com.cn/priceDetail.html我们首先创建一个爬虫用于收集url与请求的data然后b,c,d使用RedisCrawlSpider来对数据进行分布式爬取在此篇中我们仅介绍爬虫a这是一条请求的负载我们只需要对pubDateStartTime和pubDateEndTime进行更改就能够获取指定日期的菜品数据这两行代码将获取今日日期并将其格式化为我们需要的格式我们已经搞定了data现在我们发送请求分析数据我们将获取
2024-05-28 17:03:25
778
2
原创 基于scarpy框架的肯德基中国门店信息获取
我们首先通过对起始url的response进行解析得出所以的城市然后分别对每个城市再次进行请求然后解析其返回的response此处我们使用scrapy.FormRequest（）callback为将结果返回给哪个方法。我们不仅要保存城市名单也要对每个城市的详细内容进行保存所以我们需要两条管道我们通过给item添加标志位来确定传回的数据需要使用哪条管道。allowed_domains = []设置为空表示不对请求进行域名过滤。我们首先需要获取全部城市的名字然后依次对所有城市进行请求。3.对爬虫文件进行编写。
2024-05-09 11:23:42
562
1
原创 使用YOLO来制作一个云顶之弈自动搜牌器(一.整体设计)
2.对数据集进行标注在1.0版本中我们的主要功能只有购买所需的棋子和自动D牌所以我们需要识别所有棋子和D牌键以及识别是否能够继续D牌所以我们需要标注所有棋子以及可以D牌时的D牌键和不能时的我们将其标注为YOLO格式。4.整个识别过程为从获取屏幕截屏识别是否有所需的棋子点击购买判断是否能够继续D牌。1.首先我们需要在对局中进行截图来获取足够的数据集来进行训练。在整个购买过程中我们使用pyautogui库来控制鼠标。3.对数据集进行训练。
2024-03-25 17:00:27
401
原创 基于yolov7与arduino的眼睛跟随模块
我们首先需要一个图片收集的模块来对当前的图片进行收集然后将图片传至服务端对图片中的眼睛利用YOLO进行检测最后将数据传至arduino使其控制动力模块来进行位置调整使目标一直与眼睛处于一个水平线。
2024-03-11 17:53:01
1621
2
原创 arduino安装索尼spresense开发库
选择工具 → 电路板 → 电路板管理程序 并打开该程序。检索 Spresense 并单击 安装 完成安装。打开arduino点击文件->首选项。将以下链接添加进附加开发板管理器网址。
2024-03-10 01:15:46
537
1
原创 下载盗版网站视频并将.ts视频文件合并
我们发现index.m3u8中储存着所有的.ts文件名在拼接上前面固定的url就可以获取到.ts文件。
2023-09-27 10:10:49
1297
1
原创 qq自动搜索好友并发送信息
将所需的内容传入函数此时内容以复制进剪切板只需ctrl+v即可粘贴。然后通过多次实验我们得到输入框和左上角坐标的像素距离。m.move(x, y)将鼠标移动到输入框。首先定位到qq界面并拿到左上角的坐标。m.click(x, y) 点击鼠标。使用win32api来模拟键盘输入。
2023-09-13 10:27:53
322
原创 爬取北京新发地当天货物信息并展示十五天价格变化(一)---对爬取到的数据进行处理提取出物品种类和名称
我们现在需要的数据有名称 prodName产品的型号 specInfo产品的产地 place。
2023-08-28 16:55:18
322
原创 爬取北京新发地当天货物信息并展示十五天价格变化(一)---爬取今日货物名称类型和产地
我们就是通过python模拟浏览器发送信息给服务器获取服务器所需的数据然后对获取的原始数据进行处理而不是渲染到屏幕上。
2023-07-09 20:51:32
890
原创 ESP32-CAM自动拍摄照片并通过tcp协议上传至服务端
①:esp32-cam拍摄照片并缓存②:esp32通过tcp协议将图片传输给服务端③：服务端将数据处理后将数据返回给esp32esp32收到返回数据后会继续拍摄并上传循环上述步骤。
2023-07-05 16:54:10
3533
2
原创 Arduino 74HC595扩展IO
VCC、GND为芯片供电管脚，工作电压5V。Q0~Q7这8个引脚是芯片的输出引脚。DS引脚为串行输入引脚。我们需要将数据一位一位的写入该引脚。STCP引脚为锁存引脚。当移位寄存器的8位数据全部传输完毕后，通过控制此引脚将数据复制到锁存器准备并行输出。SHCP引脚为时钟引脚。通过控制此引脚将数据写入移位寄存器。OE引脚为输出使能。其作用是控制锁存器里的数据是否最终输出到Q0-Q7输出引脚上。低电平时输出，高电平时不输出，本实验直接接在GND使其一直保持低电平输出数据。
2023-06-12 20:08:17
324
原创 arduion ESP8266连接WiFi 热点
esp8266库下载: https://blog.csdn.net/qq_62975494/article/details/131050848?spm=1001.2014.3001.5501
2023-06-07 15:44:32
492
2
原创 arduino智能小灯(人体感应，光线感应，蓝牙控制)
① 调节灵敏度 逆时针低② 调节延时 逆时针低1.调节延时电位器逆时针旋转，感应延时减短（约 0.5S），反之，感应延时加长（约300S）2.调节距离电位器逆时针旋转，感应距离减小（约 3 米），反之，感应距离增大（约 7 米）③ 触发方式选择跳帽接上两个针脚(如上图)，为H(可重复触发)，在延时时段内，若感应到，将一直保持高电平跳帽接下两个针脚，为L(不可重复触发)，延时结束，自动从高电平转到低电平当感应到人体，其IO输出3.3V高电平。
2023-05-18 19:38:12
5077
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人