request+bs4 爬取数据存放数据库

最新推荐文章于 2023-09-11 13:12:50 发布

都护小弟弟

最新推荐文章于 2023-09-11 13:12:50 发布

阅读量324

点赞数

分类专栏： python 文章标签：数据库 mysql python request

本文链接：https://blog.csdn.net/Hoo_ligan/article/details/118512131

版权

该博客通过Python爬虫技术，首先从qishus.com抓取书籍列表，然后深入解析页面获取书名、链接和简介，最后将数据存储到数据库并进行整理。重点展示了如何利用BeautifulSoup和pymysql进行网页抓取和数据库操作。

摘要由CSDN通过智能技术生成

import pymysql
import requests
from bs4 import BeautifulSoup
from lxml import etree
import time

headers = {
   
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36',
}


def bqg(url):
    cent = requests.get(url, headers).content
    data = BeautifulSoup(cent, 'lxml')
    title = data.select('#globalNavUL > li > a')[1:]
    for j in title:
        da(j.text, url + j['href'