Python爬取网站小说的源码思路

还是老样子，本人喜欢看小说，但奈何不想去付费，就用Python做了个爬虫来用，这里仅展示我的源码，以供参考
1.首先得下两个包，这个不多说，都懂（不懂的百度上有教程，可以多看看）这里就直接放源码了

import requestsfrom bs4 import BeautifulSoup

2.爬虫的核心主要就是根据指定网址获取网页对象，所以接下来就是进行获取

def download_page(url):
    data = requests.get(url).content
    return data

3.逻辑很关键，这里要自己去打开你获取的网页，找到需要内容的父节点

def parse_html(html):
#从上一个方法中获取到的html对象需要进行转换
    soup = BeautifulSoup(html)
#获取table对象
    movie_list_soup = soup.find('table')
    # print(movie_list_soup)
#书名
    movie_list = []
#章节名
    movie_name_list = []
    if movie_list_soup is not None:
        i = 1
#获取table中的每个tr
        for movie_li in movie_list_soup.find_all('tr'):
#排除表格标题
            if movie_li.find_all('th'):
                continue
#获取每个tr中的a标签，主要为获取书籍地址
            a_ = movie_li.find_all('td', attrs={
   'class': 'odd'})[0].find('a')
            print(i, '.', a_.text)
            movie_list.append(a_[