找了一个新闻网站练习爬虫抓取,目标:逐一点击目录标题,进入详细新闻页面,抓取子页面的标题和正文内容并打印出来,返回目录标题页,点击下一篇文章。注:没有新开窗口,是在原窗口实现跳转。新开窗口进行抓取看下一篇文章。
试了很多种方法都抓取不到class=rightContent下面每个a标签里的href链接,开始思考是不是因为href链接都放在li列表里面导致。
后面终于试到怎么获取这些在列表li里的href链接了:首先第一步先抓取到所有a标签,这里用的是绝对路径,比较方便,直接右键copy→xpath。这样抓取出来的是一个列表links:
links=driver.find_elements_by_xpath("/html/body/div[5]/div[4]/ul/li/a")
通过for link in links遍历所有抓取出来的a标签内容,然后再用get_attribute()函数来获取每一个link的href属性,得到的是a标签对应的目标页面的URL:
link.get_attribute('href')
这样就能获得每一个子页面地址。但要注意,这里抓取出来的是地址的字符串,不能点击。相当于在word里面输入网址,但是没按回车制造超链接,使网址变成了普通文字。这时候不能用click(),应该要用driver.get()来让浏览器