- 博客(6)
- 收藏
- 关注
RSS订阅原创 scrapy+adbapi异步写入，提高数据库写入效率
传统的同步数据库操作可能会导致Scrapy爬虫阻塞，等待数据库操作完成。这意味着Scrapy可以在等待数据库操作完成的同时继续执行其他任务，如抓取更多的网页或解析数据。这种异步处理方式极大地提高了Scrapy的运行效率和性能，使得项目能够更快地处理大量数据。首先在settings.py文件中定义数据库相关配置项，这里以mysql为例。随后在pipelines.py初始化时读入上述数据库连接信息，并建立连接池。随后在process_item()中进行写入数据库的操作。
2024-03-20 11:28:58
262
1
原创 使用goose3进行文本提取时报错：AttributeError: ‘list‘ object has no attribute ‘decode‘
运行后出现如下错误：在网上找了很久没有找到对应的解决办法。
2024-01-13 13:01:52
461
1
原创 [实训笔记] 01 软件架构模式
1.1 架构是什么定义架构是构成一个系统的基础组织结构，包括系统的组件构成，组件间的相互关系、系统和其所在的关系、以及指导架构设计和演进的相关准则。特性架构定义系统的结构架构定义系统的行为和交互架构只关注影响系统的重要元素架构遵循一种架构风格架构需要平衡工系私的需求架构受所处环境的约束，反过米也影响它的环境架构不仅仅要实现最后产出，还必须保证是合理和正确的大多数的架构难点都和质量参数相关，而不是功能需求架构风格定义：以结构组织模式定义的一类系统族。一种软件体系结构风格刻划了一个具有类似结构和语义的系统家族。
2022-07-01 20:38:43
658
1
原创 如何在Linux下逛B站看视频
因为学习尚硅谷MySQL高级特性篇的需要，我心想着要是能在Linux下边看视频边操作数据库就好了，但Linux自带的火狐浏览器没有flash无法观看视频，按照提示去下载，发现没有linux版本的flash，询问客服后得知，flash个人版在去年就不支持Linux，如需下载，可以选择收费的企业版：没办法，我只能另辟蹊径，花一天时间去研究了两个解决办法。方法一：Ctrl+Alt+T打开终端，输入如下命令：sudo apt install ubuntu-restricted-extras
2022-03-27 17:38:35
10212
1
原创 vscode 报错：无法打开源文件“stdio.h“，但程序能正常运行的解决办法。
最近用vscode写C语言，却突然报错说找不到所需头文件，如下图：然而当我尝试运行程序时，却可以正常运行。本着求知精神，我去网上查了很久资料，网上给出许多解决办法，有让我配置JSON文件的，有让我检查是不是安装了MINGW的（我的MINGW是正常的）。但几个小时、各种方法的尝试并没有实际地解决这个问题。但功夫不负有心人，最终通过自己的摸索，我还是找到了解决办法。首先在扩展中找到下载的C/C++插件，右键点击，选择“扩展设置”。随后在顶部搜索框里输入include path，找到C_C..
2022-03-20 09:58:03
50822
24
原创 [Err] 1630：MySQL-8.0的YEAR（）函数在 Navicat 中的使用问题
最近使用Navicat学习MySQL的日期函数时，做到了如下的一个练习题：# 6.查询员工姓名，hire_date ，department_id, 满足以下条件:#雇用时间在1997年之后，department_id为80或90或110，commission_pct不为空初看难度不大，于是我顺着Navicat的代码提示，写出了如下查询语句：SELECT last_name, hire_date, department_idFROM employe...
2022-03-03 09:48:37
1478
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人