我们的目标是抓取qq空间里好友的说说及发表说说的时间,在开始之前先做好预备工作。
首先是先装个自动化测试工具selenium,它支持各种浏览器,在python里直接pip就可以安装了(ps:selenium主要用于动态网页,查找速度慢,解析时要注意):
pip install selenium
然后我们用selenium里面的一个webdriver工具,使用这个工具要下载对应浏览器的驱动,这里用我用的是chrome,另外驱动版本对应的浏览器版本的如下(每个notes文本里都有对应的版本):
http://npm.taobao.org/mirrors/chromedriver/
把下载好的压缩文件里的文件解压到chrome的文件夹,我们在开始之前再装个requests模块,这是爬虫必须装的模块同样,直接pip:
pip install requests
在开始写基本代码前我们先来看看现在的qq空间的网页布局。
可以看到,如果电脑登陆了qq,那么可以直接点击头像来进入qq空间,那么我们第一步就来实现进入自己的qq空间。
首先使用浏览器的f12调试工具查看这个头像框在html代码里的位置,然后获取找到它的xpath,这个比较容易看出id为img_out_ + qq号 。