文中用到的库:
request
BeautifulSoup
requests库的一些方法:
爬取网页主要有如下几个关键步骤:
get请求则使用requests.get请求网页:
response = requests.get(book_url, headers=header)
soup = BeautifulSoup(response.text,'lxml')# 使用BeautifulSoup解析网页,解析的结果就是一个完整的html网页
content = html.select('#readerFt > div > div.content > p')# 使用soup.select,通过标签查找正文
通过子标签查找时,尽量不使用完整的selector
比如下图中,正文都是放在class=content标签下的每一个<p></p>标签中
eg:第二个<p></p>标签复制出来的selector就是这样的:#readerFt > div > div.content > p:nth-child(2),由于我们是爬取整篇小说ÿ