4chan 爬虫_爬虫第一步--爬取网页

一、安装库

爬虫主要使用Python(字符串|urllib)+Selenium+PhantomJS+BeautifulSoup。还另外需要pip install httplib2。

二、Urllib下载网页及图片

由于案例是python2，一些语句使用python3时会报错：

1、import urllib.request

2、write() argument must be str, not bytes

原因：Python3给open函数添加了名为encoding的新参数，而这个新参数的默认值却是‘utf-8’。这样在文件句柄上进行read和write操作时，系统就要求开发者必须传入包含Unicode字符的实例，而不接受包含二进制数据的bytes实例。

解决方法：使用二进制写入模式(‘wb’)来开启待操作文件，而不能像原来那样，采用字符写入模式(‘w’)

知识点：

1、urlopen(url, data, timeout)

url=URL，data=访问URL时要传送的数据，timeout=超时时间(2，3可为空)

创建一个表示远程url的类文件对象，然后像本地的文件一样操作这个类文件对象来获取远程数据

2、urlretrieve方法直接将远程数据下载到本地