Python爬虫零基础实战，简洁实用！

Python爬虫，爬取漫画实战：

先上个爬取的结果图

最后的结果为每部漫画按章节保存

 运行环境

IDE VS2019

Python3.7

Chrome、ChromeDriver

Chrome和ChromeDriver的版本需要相互对应

先上代码，代码非常简短，包含空行也才50行，多亏了python强大的库

import os
import time
import requests
from selenium import webdriver
from lxml import etree

def getChapterUrl(url):
    headers = {
            "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"
        }
    part_url = "http://ac.qq.com"
    res = requests.get(url, headers=headers)
    html=res.content.decode()
    el = etree.HTML(html)
    li_list = el.xpath('//*[@id="chapter"]/div[2]/ol[1]/li')
    for li in li_list:
            for p in li.xpath("./p"):
                for span in p.xpath("./span[@class='works-chapter-item']"):
                    item = {}
                    list_title = span.xpath("./a/@title")[0].replace(' ', '').split('：')
                    if list_title[1].startswith(('第', '序')):
                        getChapterFile(part_url + span.xpath("./a/@href")[0], list_title[0],list_title[1])

def getChapterFile(url,path1,path2):
    #path = os.path.join(path)
    #漫画名称目录
    path=os.path.join(path1)
    if not os.path.exists(path):
        os.mkdir(path)
    #章节目录
    path=path+'\\'+path2
    if not os.path.exists(path):
        os.mkdir(path)
    chrome=webdriver.Chrome()
    #"http://ac.qq.com/ComicView/index/id/505435/cid/2"
    chrome.get(url)
    time.sleep(4)
    imgs = chrome.find_elements_by_xpath("//div[@id='mainView']/ul[@id='comicContain']//img")
    for i in range(0, len(imgs)):
            js="document.getElementById('mainView').scrollTop="+str((i) * 1280)
            chrome.execute_script(js)
            time.sleep(3)
            print(imgs[i].get_attribute("src"))
            with open(path+'\\'+str(i)+'.png', 'wb') as f:
                f.write(requests.get(imgs[i].get_attribute("src")).content)
    chrome.close() 
    print('下载完成') 

if __name__ == '__main__':
    getChapterUrl('http://ac.qq.com/Comic/ComicInfo/id/505435')

Python学习路线汇总：Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面：

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，还有环境配置的教程，给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

四、入门学习视频全套

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

五、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

**学习资源已打包，需要的小伙伴可以戳这里：【学习资料】