关于爬虫实践-后端存储数据表创建

没有羊的王K

于 2023-10-10 08:29:45 发布

阅读量804

点赞数

文章标签：爬虫数据库

本文链接：https://blog.csdn.net/weixin_74314406/article/details/133722951

版权

创建一个新的Python包Model,并创建DataDB和dbModel两个Python文件。

dbModel为实际的数据库连接，DataDB为数据库的业务处理。

dbModel中源代码

'''实际的数据库连接'''
import pymysql
class dbConnect():
    def __init__(self):
        self.coon = pymysql.connect(user='wang123',
                                    password = 'wang123',
                                    database='myweb',
                                    host='127.0.0.1',
                                    charset='utf-8')
        self.cursor = self.coon.cursor()
    def dbMange(self,sql=None):
        '''实现对数据表里的定义，增加，删除，修改'''
        flag = False
        try:
            self.cursor.execute(sql)
            self.coon.commit()
            flag=True
        except:pass
        return flag
    '''数据库的查询'''
    def dbQuery(self,sql):
        try:
            self.cursor.execute(sql)
            return self.cursor.fetchall()
        except:
            return None

if __name__ =='__main__':
    d = dbConnect()
    sql = 'create table'
    d.dbMange(sql)

# 返回的元组列表

在这里打开一个软件

1.数据库工具打开

2.MySQL 打开

在这个locahost里创建一个myweb服务器，添加user表格，在表格中添加字段

用户名，密码，权限等（根据需求添加）

详细代码讲解

本次爬取为新闻页面，建立一个news的表格，并添加了相应的字段。

注意！这里的权限和状态均为int 类型标题的字数225过少建议调大至500.

import pymysql：这行代码导入了pymysql模块，一个纯Python写的MySQL客户端，用于连接MySQL数据库。
class dbConnect():：定义了一个名为dbConnect的类，该类用于与数据库建立连接并进行各种操作，如执行SQL查询和事务处理。
def __init__(self):：这是dbConnect类的初始化函数。当创建dbConnect类的实例时，它会自动执行。
- self.coon = pymysql.connect(user='wang123', password = 'wang123', database='myweb', host='127.0.0.1', charset='utf-8')：这行代码使用提供的用户名（'wang123'）、密码、数据库名（'myweb'）、主机名（'127.0.0.1'）和字符集（'utf-8'）与MySQL数据库建立连接。
- self.cursor = self.coon.cursor()：这行代码创建了一个游标对象，该对象允许我们执行SQL命令并检索结果。
def dbMange(self,sql=None):：这是一个方法，用于管理数据库，包括对数据表的定义、增加、删除和修改。
- try: self.cursor.execute(sql) self.coon.commit() flag=True except:pass：此代码块尝试执行提供的SQL语句，并提交事务。如果发生错误（例如，SQL语句无效），则除了一个异常之外，不会发生任何事情（因为except:pass）。这个方法返回一个布尔值，表示SQL命令是否成功执行。
def dbQuery(self,sql):：这是一个方法，用于查询数据库。
- try: self.cursor.execute(sql) return self.cursor.fetchall() except: return None：此代码块尝试执行提供的SQL语句，并检索所有结果。如果发生错误，它返回None。
在if __name__ =='__main__':部分，创建了一个dbConnect类的实例并尝试创建一个新的数据表。
复制一些相同的表格，修改其中的字段内容。