weixin_42251851的博客

前言：       爬取百度文库对于我这个刚入门的新手来说还是挺有挑战性的，前后历时三个晚上，终于给搞定了，成就感满满。            对于这种动态网站的的爬取，主要就是摸清规则，下面我就来说说的百度文库的规则，这也是我测试了好多遍才搞清。            刚打开网页时，会先加载前几页的文档，点击继续阅读后，不会加载余下的网页，需要你把滚动条下滚到那一页才会加载文档，但当你定位到已经...

一．本节需要的知识1-1：.urlopenurllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)¶1-2 ：.Requesturllib.request.Request(url, data=None, headers={}, origi...