Python爬虫笔记
记录自己学习爬虫的经历
菜鸟程序员也有梦想
把自己经历过的技术困难记录下来,这将是你的财富。
展开
-
用Python写爬虫——伪装http请求
首先运行以下代码观察控制台import urllib2# 在HTTPHandler增加参数"debuglevel=1"将会自动打开Debug log 模式,# 程序在执行的时候会打印收发包的信息http_handler = urllib2.HTTPHandler(debuglevel=1)# 调用build_opener()方法构建一个自定义的opener对象,参数是构建的处理器对...原创 2018-04-02 11:14:33 · 4098 阅读 · 0 评论 -
用Python写爬虫——初体验
用Python写爬虫第一篇写在前边的话,首先问问自己为什么想写爬虫? 我的回答: 也许是喜欢吧。 想用Python做点有用的事情,比如:爬个天气呀,爬个各个快递公司的电话呀、爬个电影网站啊,等等。学习爬虫之前必须要了解的知识 - python基础,这里有我学Python的记录 - 什么是爬虫 ? 简单的说就是通过程序爬取网页上的信息。 - 爬虫的分类:爬虫可分为 通用爬虫 和 ...原创 2018-03-27 11:22:49 · 400 阅读 · 0 评论