xpath的使用方法以及python爬取数据的保存

前面写了几篇关于自己爬虫时的进度以及遇到的问题,今天系统的爬取了一个网站之后又对爬虫方法有了更好的认识,所以今天我会尽量用明晰的语言来给大家介绍这些方法。

首先说明下我要爬取的内容:http://www.zbj.com/appdingzhikaifa/sq10054601.html          打开这个网址会有很多店铺,我的第一步就是爬取这个网址中店铺所对应的公司名,代码在我前面的文章中有提到,这块就不展示了。然后  http://www.qichacha.com  我会在这个网站搜索这些公司名,你会发现会有很多同名不同地区的公司,而我接下来就是需要爬下这些所有公司名的信息。


我觉得对于任何一个页面的信息爬取的方法无非Beautifulsoup或者webdriver 的方法,我自己感觉我没有太弄懂beautifulsoup,所以有时还不是很熟练,接下来我就重点介绍webdriver中的xpath。

import selenium.webdriver as webdriver            #webdriverd 所需要的库
>>> driver=webdriver.Chrome()                     #打开浏览器                         ,这里建议大家使用谷歌浏览器,根据自己对应电脑版本去官网下载对应版本就好,当然还要安装一个webdriver,百度同样可以搜索下载到,然后还有环境的配置等。。。(好像走题了)


results = driver.find_elements_by_xpath("//div[@class='witkey-name j-witkey-name']/a")          #重点是这一句代码&#x

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值