python获取某网站基本信息并存入数据库

最新推荐文章于 2024-04-28 15:05:42 发布

P_浮生

最新推荐文章于 2024-04-28 15:05:42 发布

阅读量305

点赞数

分类专栏： python其他文章标签： python 数据库爬虫

本文链接：https://blog.csdn.net/Pan_77777/article/details/128238085

版权

实现提取某电影网基本信息并存入数据库，修改数据库连接即可使用

网站：aHR0cHM6Ly93d3cuZHl0dDhhLmNvbQ==（b64加密）

代码如下：

import requests
from lxml import etree
import pymysql
from pymysql.converters import escape_string


class Mysqlmovie(object):
    def __init__(self):
        self.table = 'movie'
        self.db = pymysql.connect(
            """
            """
        )
        self.cursor = self.db.cursor()

    def process(self, item):
        movie = self.select_one(item['name'])
        if movie:
            pass
        else:
            self.insert_one(item)

    def select_one(self, moviename):
        sql = "SELECT moviename from movie where moviename = '%s';" % (escape_string(moviename))
        self.cursor.execute(sql)
        column_tuples = self.cursor.fetchall()
        columns = []
        for column_tuple in column_tuples:
            columns.