Python爬虫（二）：假装解决js动态网页

前言

• 在上一篇博文中, python代码趋向于平铺直叙——或者说代码习惯十分不好, 稍微复杂点的功能都会举步维艰,
• 对于选择使用js控制加载网页结构的网站, 以urllib为基础的python库来说无法直接解决这个问题.
• 但是事在人为, 对于笔者这个小白来说还是有傻瓜式替代解决思路的, 虽然很慢==

前期准备

• 默认看过Python爬虫（一）：简单小说爬取实例
• 预装模块: requests, selenium, bs4, os
• 下载chromedriver

流程分析

• bs4+selenium+chromedriver 强行爆破 模拟点击行为获取完全加载的html
• 然后用beautifulsoup为所欲为

代码实现

# coding=utf-8
# **************************Declaration**************************
# @File name:        Crawler
# @Function:         requests+selenium+chromedriver
# @Author:           Ogiso Kazusa
# @Date: