Python爬虫几个步骤教你写入mysql数据库

最新推荐文章于 2024-08-15 14:00:00 发布

馒头糕饼一齐要

最新推荐文章于 2024-08-15 14:00:00 发布

阅读量1.7k

点赞数 1

文章标签： python 爬虫数据库 mysql

本文链接：https://blog.csdn.net/qq_28744695/article/details/129074039

版权

本文介绍了如何使用Python爬虫将网站数据存入MySQL数据库，包括配置MySQL环境、安装pymysql扩展、使用可视化客户端连接数据库、编写MySQL模块类以及爬虫数据类。通过实例操作，详细讲解了每一步骤。

摘要由CSDN通过智能技术生成

Python爬虫几个步骤教你写入mysql数据库

Python爬虫实现爬取网站中的数据并存入MySQL数据库中，在爬取的时候总要涉及到数据持久化存储，当然有很多中存储的方式，简单点的有excel、txt、json、csv等等。存入mysql我觉的有好多操作空间，如果是开发python后端也可以熟悉一下sql语句,存入数据库的方法也是试了些许网上一些方法，现在把完整功能供大家参考。

一、配置mysql环境

直接搜索 phpStudy安装即可,按照下图配置数据库。用户名密码自行设置,然后返回首页启动即可。
在这里插入图片描述

二、安装pymysql扩展

pip install pymysql

三、客户端连接mysql可视化

打开刚安装的phpstudy安装一个mysql客户端连接，数据库是本地的host可以填 127.0.0.1 或 localhost用户名密码是上面设置的
在这里插入图片描述

四、写mysql模块类

MySQL创建对应的表

CREATE TABLE `text_archives`  (
  `id` int(10) UNSIGNED NOT NULL AUTO_INCREMENT COMMENT 'ID',
  `url` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NOT NULL DEFAULT '' COMMENT '链接',
  `title` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NOT NULL DEFAULT '' COMMENT '标题',
  `image` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NOT NULL DEFAULT '' COMMENT '图片',
  `keywords` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '关键描述',
  `description` varchar(600) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NOT NULL DEFAULT '' COMMENT '内容描述',
  `content` text CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NULL COMMENT '内容',
  `weigh` int(10) NOT NULL DEFAULT 0 COMMENT '权重',
  `createtime` bigint(16) NOT NULL DEFAULT 0 COMMENT '创建时间',
  `updatetime` bigint(16) NOT NULL DEFAULT 0 COMMENT '更新时间',
  `deletetime` bigint(16) NULL DEFAULT NULL COMMENT '删除时间',
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 2692 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_unicode_ci COMMENT = '内容表' ROW_FORMAT = Dynamic;

SET FOREIGN_KEY_CHECKS = 1;

构造 SQL 语句的字符串 sql ，然后通过 cursor.excute(sql) 执