爬虫学习4——Xpath爬取网页信息

xpath是在XML文档中搜索内容的一门语言，我们常见的html是xml的一个子集

目录

安装lxml模块

获取网页数据

text()拿文本 。xpath使用[1]选择同种标签的第一个。/a[@href='']根据属性href的值选择特定标签

//表示后代（子标签，孙子标签，重孙子标签）。*表示任意的节点，通配符。使用@拿到属性值

./表示当前节点

---

安装lxml模块

pip install lxml

获取网页数据

本次实验选择了代码中的网站，获取下面雇佣和招标的信息

text()拿文本 。

xpath使用[1]选择同种标签的第一个。

/a[@href='']根据属性href的值选择特定标签

//表示后代（子标签，孙子标签，重孙子标签）。

*表示任意的节点，通配符。

使用@拿到属性值

./表示当前节点

from lxml import etree
import requests
code=requests.get('https://task.zbj.com/?k=saas')

v=code.text
r=etree.HTML(v)
result=r.xpath('/html/body/div[1]/div[6]/div/div[2]/div[2]/div/div[1]/div')

for d in result:
	#m=d.xpath('./div[@class="result-search-item"]')
	t1=d.xpath('./div[1]/h4/@title')
	t2=d.xpath('./div[2]/text()')
	gongzuo=d.xpath('./div[3]/span[2]/text()')
	hangye=d.xpath('./div[3]/span[3]/text()')
	place=d.xpath('./div[3]/span[4]/text()')
	money=d.xpath('./div[4]/span/text()')
	gongsi=d.xpath('./div[4]/div/text()')
	information=[t1,t2,gongzuo,hangye,place,money,gongsi]
	print(information)

输出结果如下： 

[['需要企业管理SaaS'], ['\n找人做SaaS\n'], ['通用类'], ['农林牧渔'], ['上海'], ['￥20.00'], ['\n', '\n\n', '\n\n']]
[['需要B2B电商小程序'], ['\n标准的B2B商城：\n需要能开票、合同的解决方案\n收款方式需要有对公转账（或者提供解决方案）\n积分方案需要可以针对单一商户设置\n有能对接ERP系统（比如财务的用友办公）\n其余标准B2B商城所带有的必需功能等\n不要SAAS，不要重新定制\n'], ['网站定制开发'], ['农林牧渔'], ['南昌'], ['￥150000.00'], ['\n', '\n\n', '\n\n']]
[['微信小程序开发公众号H5设计APP定制网站建设saas软'], ['\n微信小程序开发公众号H5设计APP定制网站建设saas软件\n'], ['小程序开发'], ['IT行业'], ['上海'], ['￥3000.00'], ['雇佣服务商：玖魅科技']]
[['教育培训在线排课约课系统成品SaaS账号'], ['\n教育培训在线排课约课系统成品SaaS账号年费服务\n'], ['APP开发'], ['广州'], [], ['￥8440.00'], ['雇佣服务商：邻米网络']]
[['需要软件测试'], ['\n测试工程师\n公司开发了一套SaaS系统，需要测试前端和后台功能\n'], ['测试服务'], ['IT行业'], ['无锡'], ['￥3500.00'], ['\n', '\n\n', '\n\n']]
[['【软件开发】ERP|CRM|OA|SaaS管理软件定制开'], ['\n【软件开发】ERP|CRM|OA|SaaS管理软件定制开发\n'], ['行业软件开发'], ['深圳'], [], ['￥1000.00'], ['雇佣服务商：鲸蓝互联科技']]
[['SAAS小程序电商系统开发（微信支付宝抖音百度H5公众号'], ['\nSAAS小程序电商系统开发（微信支付宝抖音百度H5公众号商城\n'], ['小程序开发'], ['批发零售'], ['合肥'], ['￥6688.00'], ['雇佣服务商：猫灵网络-国家高企双软挂牌企业']]
[['软件UI界面web管理系统saas平台后台客户端终端页面'], ['\n软件UI界面web管理系统saas平台后台客户端终端页面设计\n'], ['软件界面设计'], ['互联网服务'], ['南昌'], ['￥500.00'], ['雇佣服务商：轻妙视觉']]
[['软件UI界面web管理系统saas平台后台客户端终端页面'], ['\n软件UI界面web管理系统saas平台后台客户端终端页面设计\n'], ['软件界面设计'], ['南昌'], [], ['￥500.00'], ['雇佣服务商：轻妙视觉']]
[['软件UI界面web管理系统saas平台后台客户端终端页面'], ['\n软件UI界面web管理系统saas平台后台客户端终端页面设计\n'], ['软件界面设计'], ['南昌'], [], ['￥500.00'], ['雇佣服务商：轻妙视觉']]
[['软件UI界面web管理系统saas平台后台客户端终端页面'], ['\n软件UI界面web管理系统saas平台后台客户端终端页面设计\n'], ['软件界面设计'], ['南昌'], [], ['￥500.00'], ['雇佣服务商：轻妙视觉']]
[['新零售电商佣金O2O微商分销系统软件开发'], ['\n新零售电商佣金O2O微商分销系统软件开发电商saas租赁系统\n'], ['企业管理软件开发'], ['IT行业'], ['湖南'], ['￥10000.00'], ['雇佣服务商：指环掌柜']]
[['我需要saas 软件系统开发'], ['\nsaas 软件系统开发\n'], ['企业管理软件开发'], ['泉州'], [], ['可议价'], ['\n', '\n\n', '\n\n']]
[['【软件开发】ERP|CRM|OA|Saa'], ['\n【软件开发】ERP|CRM|OA|SaaS管理软件定制开发\n'], ['行业软件开发'], ['IT行业'], [], ['￥1100.00'], ['雇佣服务商：鲸蓝互联科技']]
[['【软件开发】ERP|CRM|OA|Saa'], ['\n【软件开发】ERP|CRM|OA|SaaS管理软件定制开发\n'], ['行业软件开发'], ['能源供应'], [], ['￥1500.00'], ['雇佣服务商：鲸蓝互联科技']]
[['企业模板网站制作/公司官网SAAS建站/网站建设/网页设'], ['\n未填写\n'], ['模板建站'], ['深圳'], [], ['￥898.00'], ['雇佣服务商：文纳网络科技']]
[['saas支付宝微信公众号小程序商城H5python开发定'], ['\nsaas支付宝微信公众号小程序商城H5python开发定制作\n'], ['小程序开发'], ['安徽'], [], ['￥1880.00'], ['雇佣服务商：千界科技-国家高企双软企业']]
[['saas支付宝微信公众号小程序商城H5python开发定'], ['\n未填写\n'], ['小程序开发'], ['安徽'], [], ['￥3300.00'], ['雇佣服务商：千界科技-国家高企双软企业']]
[['saas支付宝微信公众号小程序商城H5python开发定'], ['\n未填写\n'], ['小程序开发'], ['安徽'], [], ['￥2680.00'], ['雇佣服务商：千界科技-国家高企双软企业']]
[['saas支付宝微信公众号小程序商城H5python开发定'], ['\nsaas支付宝微信公众号小程序商城H5python开发定制作\n'], ['小程序开发'], ['金融保险'], ['安徽'], ['￥3000.00'], ['雇佣服务商：千界科技-国家高企双软企业']]
[['微信抖音支付宝Saas模板小程序成品分销商城h5源码定制'], ['\n微信抖音支付宝Saas模板小程序成品分销商城h5源码定制开发\n'], ['小程序开发'], ['临沂'], [], ['￥33660.00'], ['雇佣服务商：数字引擎-为创业者而生']]
[['saas支付宝微信公众号小程序商城H5python开发定'], ['\nsaas支付宝微信公众号小程序商城H5python开发定制作\n'], ['小程序开发'], ['安徽'], [], ['￥2800.00'], ['雇佣服务商：千界科技-国家高企双软企业']]
[['saas支付宝微信公众号小程序商城H5python开发定'], ['\nsaas支付宝微信公众号小程序商城H5python开发定制作\n'], ['小程序开发'], ['安徽'], [], ['￥3800.00'], ['雇佣服务商：千界科技-国家高企双软企业']]
[['saas支付宝微信公众号小程序商城H5python开发定'], ['\nsaas支付宝微信公众号小程序商城H5python开发定制作\n'], ['小程序开发'], ['合肥'], [], ['￥1900.00'], ['雇佣服务商：千界科技-国家高企双软企业']]
[['招商文案'], ['\n我需要招商文案，该PPT仅供参考，要求：有过SAAS产品，起码有过互联网产品的包装或策划案例，无相关成功案例者勿扰！\n'], ['商业策划'], ['IT行业'], [], ['￥2000.00'], ['\n', '\n\n', '\n\n']]
[['【小程序开发】微信电商商城/团购/教育/定制小程序/Sa'], ['\n【小程序开发】微信电商商城/团购/教育/定制小程序/SaaS\n'], ['小程序开发'], ['广东'], [], ['￥1500.00'], ['雇佣服务商：丰数网络-互联网技术专家']]
[['混业型文化空间业态小程序矩阵开发'], ['\n1、该企业跨越文化、餐饮、教育、演艺、项目5类行业混合经营，以零售为主，但包含部分对公业务；\n2、小程序矩阵包括：商城小程序、会员小程序、点餐小程序、课程预约小程序、演艺活动预约小程序、项目小程序（按需定制）等\n3、小程序之间支持跳转\n4、小程序需支持打通主流SaaS ERP（具体详谈）\n5、因涉及梳理业务，青岛本地服务商优先\n'], ['小程序开发'], ['批发零售'], ['青岛'], ['￥300000.00'], ['\n', '\n\n', '\n\n']]
[['需要其它工具软件'], ['\n本公司急需搭建saas平台，平台需满足以下用途：具体如图所示。\n'], ['工具软件'], ['IT行业'], ['盐城'], ['￥200000.00'], ['\n', '\n\n', '\n\n']]
[Finished in 1.0s]