python爬虫之html解析

 

页面请求、抓取：
urllib、urllib2：静态页面抓取
requests：动态页面抓取 post/get，很好用

1.深入理解urllib、urllib2及requests
http://www.mamicode.com/info-detail-1224080.html

Python 爬虫入门（requests）
http://www.mamicode.com/info-detail-1502109.html

python爬虫从入门到放弃（四）之 Requests库的基本使用
http://www.mamicode.com/info-detail-1827232.html

实例：

Python爬虫爬取动态页面思路+实例（一）
http://blog.csdn.net/qq_30242609/article/details/53788228

python3 网络爬虫（二）利用get请求获取网页的动态加载数据

http://blog.csdn.net/fight_huang/article/details/74065346
python3 网络爬虫（三）利用post请求获取网页的动态加载数据
http://blog.csdn.net/Fight_Huang/article/details/74173586

python3 爬虫日记(三) 爬取堆糖动态加载网页
http://blog.csdn.net/Mliangydy/article/details/73823625

利用python抓取网页各种类型内容（静态、动态）

http://blog.csdn.net/chenzulong198867/article/details/8245691

登录抓取：

cookielib：登录保存和提取cookie

1.Python爬虫利用cookie实现模拟登陆实例详解：

http://www.jb51.net/article/102808.htm

解析html：

正则/lxml/BeautifulSoup/requests-html

Python解析html的几种操作方式
http://blog.csdn.net/u010154424/article/details/52273868

Python爬虫解析网页的4种方式

https://blog.csdn.net/weixin_46089319/article/details/103744395

python爬虫入门教程--HTML文本的解析库BeautifulSoup（四）
http://www.jb51.net/article/114663.htm

web自动化：

python爬虫从入门到放弃（八）之 Selenium库的使用
http://www.mamicode.com/info-detail-1842611.html

Python使用Selenium和PhantomJS解析动态JS的网页
http://blog.csdn.net/qinglu000/article/details/52240508

Python3.X 爬虫实战（动态页面爬取解析）
http://blog.csdn.net/yanbober/article/details/73822475?locationNum=3&fps=1