python爬虫小结

    之前在学校鼓捣两个周的爬虫还没入门，前俩周王哥给点拨了下，有种茅塞顿开的感觉。

    现针对小白入门阶段总结下经验

    爬虫的概念不须说，之前不懂构造请求这回事，工欲善其事，必先利其器，首先可以利用fiddler(charles和firebug都很厉害)观察浏览器请求页面过程的请求，观察哪个才是需要构造的，观察是get还是post，观察request的headers和cookies，再利用python的requests库中的方法发出请求，如果仍请求不到页面可在requests.get()方法中使用proxies参数，将代理之乡fiddler，观察爬虫的请求和浏览器的请求有什么差别，从而修改代码

附两周成果地址