使用Scrapy框架通过response获取元素为none的问题

使用Scrapy框架通过response获取元素为none的问题

最近在学习python的网络爬虫,有个学习任务是需要爬取巨潮资讯的某一板块的咨询
如下图的内容:在这里插入图片描述
使用的代码如下

class JuchaonewsSpider(scrapy.Spider):
    name = 'juchaonews'
    allowed_domains = ['www.cninfo.com.cn']
    start_urls = ['http://www.cninfo.com.cn/new/commonUrl?url=disclosure/list/notice#sseMain']
    def parse(self, response):
        item_nodes = response.css(
            '#pane-important > div.el-table-box > div > div.el-table__body-wrapper.is-scrolling-none > table > tbody > tr')
        for item_node in item_nodes:
            item_loader = JuchaoItemLoader(item=JuchaoItem(), selector=item_node)
            item_loader.add_css('daima', '.el-table_1_column_1 .cell .ahover span::text').extract_first()   
            item_loader.add_css('jiancheng', '.el-table_1_column_2 .cell .ahover span::text').extract_first()
            item_loader.add_css('biaoti', '.el-table_1_column_3 .cell a::text').extract_first()
            item_loader.add_css('shijian', '.el-table_1_column_4 .cell span::text').extract_first()
            stock_item = item_loader.load_item()
            yield stock_item

使用css选择器进行选择相应的标签的,并显示其文本。但是在控制台没有输出一点的文本内容。很奇怪,因为在证券之星http://quote.stockstar.com/stock/ranklist_a_3_1_1.html网站使用相同方法爬取数据是可以正确得到结果的。
网上查了好久,最后通过打印输出response.text发现response包含的网页代码中与原网页的代码不同,response中缺少所有数据方面的内容,推测该网站的内容是动态生成。使用相同的方法查看证券之星的response中的内容是包含全部数据信息的。
如图:
证券之星response内容

所以现在我的学习任务又要拓展到selenium了

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我的Y同学

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值