dytt 爬取磁力链接保存mysql

最新推荐文章于 2024-08-22 11:20:02 发布

三千淼淼

最新推荐文章于 2024-08-22 11:20:02 发布

阅读量4.4k

点赞数

分类专栏： python爬虫

本文链接：https://blog.csdn.net/qq_41996633/article/details/81843459

版权

本文介绍了如何使用网络爬虫技术从dytt网站抓取磁力链接，并详细讲解了将这些数据有效存储到MySQL数据库的过程，包括数据清洗、数据库表设计及SQL操作。

摘要由CSDN通过智能技术生成

import requests,re


import pymysql

# 连接数据库
class mysqlhelp():
    def __init__(self):
        self.db = pymysql.connect(host='127.0.0.1', user='root', password='123456', port=3306, database='py10',charset='utf8')
        self.cursor = self.db.cursor()
    def execute_modify_mysql(self,sql):
        self.cursor.execute(sql)
        self.db.commit()
    def __del__(self):
        self.cursor.close()
        self.db.close()

dyttsql = mysqlhelp()

aurl = 'http://www.ygdy8.net/html/gndy/dyzz/list_23_%s.html'
headers = {

    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
}


for k in range(1,178):
    url = aurl % k

    response = requests.get(url,headers=headers)
    html = response.text

    res = re.findall('<a href="(.*)" class="