还是老样子,本人喜欢看小说,但奈何不想去付费,就用Python做了个爬虫来用,这里仅展示我的源码,以供参考
1.首先得下两个包,这个不多说,都懂(不懂的百度上有教程,可以多看看)这里就直接放源码了
import requestsfrom bs4 import BeautifulSoup
2.爬虫的核心主要就是根据指定网址获取网页对象,所以接下来就是进行获取
def download_page(url):
data = requests.get(url).content
return data
3.逻辑很关键,这里要自己去打开你获取的网页,找到需要内容的父节点
def parse_html(html):
#从上一个方法中获取到的html对象需要进行转换
soup = BeautifulSoup(html)
#获取table对象
movie_list_soup = soup.find('table')
# print(movie_list_soup)
#书名
movie_list = []
#章节名
movie_name_list = []
if movie_list_soup is not None:
i = 1
#获取table中的每个tr
for movie_li in movie_list_soup.find_all('tr'):
#排除表格标题
if movie_li.find_all('th'):
continue
#获取每个tr中的a标签,主要为获取书籍地址
a_ = movie_li.find_all('td', attrs={
'class': 'odd'})[0].find('a')
print(i, '.', a_.text)
movie_list.append(a_[