python爬虫xpath清洗

导入模块

from lxml import etree 

举例1:

<li class="item-1"><a href="link2.html">李四</a></li>

li就是标签名 a是li下的标签名 class与href=的为标签
item-1link2.html是标签属性 > < 这之间的李四为标签内容

内容.xpath(’//标签名/标签名’) 获取的变签内容
注:// 双斜杠是获取这个标签名下的所有内容 / 单斜杠是获取这个标签下的内容 不是所有的
内容:xpath('//标签名/标签名[@标签]') #注:标签名后 [@ ] 是获取指定的内容
内容:xpath('//标签名/标签名/@标签') #注:标签后面 /@ 是获取指定的标签属性

举例2

<div class="w150 tableText">
<a href="javascript:;" onclick="ShowLog('0e6faee43dc9439ab6bb731f9c19d0b4');" class="qy_link">查看日志</a>
<a href="javascript:;" class="qy_link btnaction cleanabnormaldispose" onclick="Dispo('d8e470e608f14d4b9a770f21cacceaf5')" style="display: inline;">处理</a>
</div>
html=etree.HTML(res)

//代表所有 所有div下面的 a标签下面 [@]中括号加@里面填写条件 如:[@条件]
/单斜杠代表这个下面的,不是所有下面的 不要中括号 如/@加条件就会获取οnclick=后面的值
得到onclick后面的值

result2=html.xpath('//div//a[@href="javascript:;"]/@onclick') 

举例3

<tbody>
<div class="w150 tableText">好的服装<br>13570031088</div>

获取div之间的汉字 得到名称 参数为列表

result3=html.xpath('//tbody//div[@class="w150 tableText"]') 

举例4

清洗添加多个条件方法,中间加 or 代表或者 | 后面可以重新添加条件

result4=html.xpath(
'//tbody//div[@class="kyc tableText" or @class="w180 tableText" or @class="w150 tableText"] | \
//tbody//td[@class="w200"]/div[@class="w200 tableText"]|\
//div//a[@class="qy_link btnaction" or @href="javascript:;"]/@onclick'
)

scrapy爬虫框架

items.py #定义目标数据的字段
pipelines.py #管道

scrapy startproject 项目名称 #创建scrapy项目
scrapy genspider 自己要写的代码文件名 url简写 #创建自己需要写的代码文件
scrapy crawl 文件名 #执行代码
scrapy crawl 文件名 -o 名.json #o是字母 转化为json数据,保存本地

for循环下用这个
yield x 收益率 提交效率 拿一个取一个 用这个语法得到的生成器

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值