scrapy extract_first和extract的问题

最新推荐文章于 2023-05-23 23:42:49 发布
最新推荐文章于 2023-05-23 23:42:49 发布
阅读量2k 收藏 1
点赞数
文章标签： scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38859557/article/details/84582209
版权

在浏览器中通过found能够找到，但是在通过代码的时候没找的原因：

1：extract_first()的问题，在一个标签下还有很多标签的时候，用这个可能找不到你想要的东西，而是要通过数组来找（extract（））

2：可能你看到的浏览器上的东西并不是真实的东西，有些东西他是通过js生成的，所以最好的方式是通过程序获取页面打印html查找，也可以用可以拿到渲染之后数据的工具如selenium；

blerli
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
scrapy spider的几种爬取方式实例代码
09-20
print(julyedu_class.xpath('a/p[@class="course-info-tip"][1]/text()').extract_first()) print(julyedu_class.xpath('a/p[@class="course-info-tip"][2]/text()')) print(response.urljoin(julyedu_class....
scrapy 选择html,如何从Scrapy选择器中提取原始html？
weixin_34489135的博客
06-09 516
简短回答：Scrapy/Parsel选择器.re()和.re_first()方法替换HTML实体(除了<，&)相反，使用.extract()或.extract_first()获取原始HTML(或原始JavaScript指令)，并对提取的字符串使用Python的re模块长答案：让我们看一个示例输入和从HTML中提取Javascript数据的各种方法。HTML示例：var i = {a:...
python extract_scrapy爬虫xpath().extract()[0]获取内容报list index out of range错
weixin_39944944的博客
11-26 386
小弟新手，在看着教程写scrapy爬虫时使用xpath().extract()[0]的方法获取内容，报IndexError: list index out of range错误，求问大神怎么解决，急求答案在线等。（试过去掉.extract()[0]，会报出TypeError: Request url must be str or unicode错误）。代码如下：cnblog_spider.py# ...
scrapy使用xpath的extract()和extract_first()的区别
热门推荐
学习机器学习
10-05 2万+
在使用scrapy爬虫的时候，我们常常使用xpath来获取html标签，但是我们经常会用到提取的方法，有两种提取的方法，分别是： extract():这个方法返回的是一个数组list，，里面包含了多个string，如果只有一个string，则返回['ABC']这样的形式。 extract_first()：这个方法返回的是一个string字符串，是list数组里面的第一个字符串。 Xpath选...
extract()和extract_first()区别
最新发布
这个人很懒，没有描述。
05-23 1105
Scrapy中extract()和extract_first()区别
scrapy的extract() 、extract_first()方法，get() 、getall() 方法
weixin_44226962的博客
04-26 4587
1.extract()方法： def parse(self, response): sel = Selector(response) hrefs = sel.xpath(r'//*[@class="c1 ico2"]/li/a/@href') print(hrefs.extract()) 结果如下： ['/4253340.html', '/6135617.html', '/5786549....
Python Scrapy多页数据爬取实现过程解析
09-16
author = div.xpath('./div[1]/a[2]/h2/text()').extract_first() content = div.xpath('./a[1]/div/span//text()').extract() content = ''.join(content) item = QiubaiproItem() item['author'] = author ...
Python爬虫框架Scrapy实战之批量抓取招聘信息
09-21
item['recruitNumber'] = job.xpath('.//span[@class="job-number"]/text()').extract_first() item['detailLink'] = job.xpath('.//h3/a/@href').extract_first() item['publishTime'] = job.xpath('.//span[@...
基于Python Scrapy实现的百思不得姐段子的数据采集爬虫系统 含全部源代码
07-10
current_page = int(response.css(u'a.z-crt::text').extract_first()) print u'current page: {}'.format(current_page) lies = response.css(u'div.j-r-list >ul >li') for li in lies: username = li....
8.scrapy入门使用1
08-03
item['name'] = i.xpath('./h3/a/text()').extract_first() print(item) ``` **五、运行爬虫** 在项目根目录下，通过`scrapy crawl <爬虫名字>`命令来运行爬虫。例如，`scrapy crawl sixtartText`将启动上述定义...
Python scrapy 提取不到字段设置默认值extract_first()
Ming的博客
03-27 1889
使用extract_first()设置默认值 当我们使用scrapy爬虫时，经常用xpath提取信息。但是，当xpath提取不到内容时会返回None值，None值在后续的处理过程中很不友好，所以我们可以使用extract_first()设置默认值。 >>> test = response.css(".lllaaa a").extract_first("默认值") >>...
课程笔记2：Scrapy框架——Selector（选择器）的用法
一个Python小白的博客
01-10 2383
Selector是基于lxml来构建的，支持XPath选择器、CSS选择器以及正则表达式。 1.直接使用 from scrapy import Selector ​ body = '<html><head><title>Hello World</title></head><body></body></html>' selector = Selector(text=body) title = selec.
网页数据的提取（多层静态网页）（extract()与extract_first()两种方法的区别）爬虫框架之--scrapy篇
a778203081的博客
05-21 1130
看完就明白了简单的思路，便于后续的学习哦
scrapy爬虫 extract（）与extract_first()的问题
qq_43231261的博客
05-08 9224
scrapy爬虫 extract（）与extract_first()的问题 在爬艺搜网的展览信息时，遇到展览信息的详情页里的“展览介绍”有点击“展开阅读”按钮，在用以下代码爬取时始终爬不到点击了“展开阅读”之后的数据。 网页前端页面： 网页源码： 原来爬取的代码： item1['description'] = response.xpath('//div[@class="exText"]/tex...
Scrapy 中extract()函数用法
搬砖小能手
03-23 1518
Scrapy 中extract()函数用法
Scrapy中extract_first()和extract()的区别
weixin_41998371的博客
12-02 862
测试用到的爬取网站 In [11]: print(response.xpath('//h3/a/@title')) # scrapy.selector.unified.SelectorList 是Selector组成的列表 Out[11]: # 为了方便阅读换行符我手打的 [<Selector xpath='//h3/a/@title' data='A Light in the Attic'>, <Selector xpath='//h3/a/@title' data='Tippin
使用scrapy框架爬虫的时候xpath的extract()和extract_first()的区别
Miracle.Zhao的博客
04-02 1万+
在使用scrapy爬虫的时候，我们常常使用xpath来获取html标签，但是我们经常会用到提取的方法，有两种提取的方法，分别是： extract():这个方法返回的是一个数组list，，里面包含了多个string，如果只有一个string，则返回['ABC']这样的形式。 extract_first()：这个方法返回的是一个string字符串，是list数组里面的第一个字符串。 ...
python 爬虫对使用Xpath定位文本内容的处理extract_first()
surge
12-03 1万+
1.使用string(.)进行we文本 内容的处理  这时的文本内容并非是真正干净的文本内容 还需要借助其他方法进行优化 用法如下: content.xpath('//*[@id="guidePage"]/section[2]/div[2]/ol/li[1]/h4').xpath('string(.)').extract_first() 结果如下:   2.用如下的方法进行优化 2...
extract和extract_first
03-16
extract和extract_first是Scrapy框架中Selector对象的两个方法。 extract方法可以将Selector对象中的所有匹配到的文本提取出来，并以列表的形式返回。 extract_first方法则只返回匹配到的第一个文本。 例如，假设...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值