本文旨在交流爬虫技术,请大家支持正版
对于刚入门的爬虫爱好者提供参考,欢迎指正批评
需要:
1,安装Python并配置好环境
2,安装requests模块
3,安装bs4模块
4,需要自己分析网页通过改代码中url来获取想要的小说
代码如下
import requests
from bs4 import BeautifulSoup
headers={
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'}
url='http://www.biqu6.com/59_59591/'
response= requests