前面写了几篇关于自己爬虫时的进度以及遇到的问题,今天系统的爬取了一个网站之后又对爬虫方法有了更好的认识,所以今天我会尽量用明晰的语言来给大家介绍这些方法。
首先说明下我要爬取的内容:http://www.zbj.com/appdingzhikaifa/sq10054601.html 打开这个网址会有很多店铺,我的第一步就是爬取这个网址中店铺所对应的公司名,代码在我前面的文章中有提到,这块就不展示了。然后 http://www.qichacha.com 我会在这个网站搜索这些公司名,你会发现会有很多同名不同地区的公司,而我接下来就是需要爬下这些所有公司名的信息。
我觉得对于任何一个页面的信息爬取的方法无非Beautifulsoup或者webdriver 的方法,我自己感觉我没有太弄懂beautifulsoup,所以有时还不是很熟练,接下来我就重点介绍webdriver中的xpath。
import selenium.webdriver as webdriver #webdriverd 所需要的库
>>> driver=webdriver.Chrome() #打开浏览器 ,这里建议大家使用谷歌浏览器,根据自己对应电脑版本去官网下载对应版本就好,当然还要安装一个webdriver,百度同样可以搜索下载到,然后还有环境的配置等。。。(好像走题了)
results = driver.find_elements_by_xpath("//div[@class='witkey-name j-witkey-name']/a") #重点是这一句代码&#x