使用Scrapy框架通过response获取元素为none的问题

使用Scrapy框架通过response获取元素为none的问题

最近在学习python的网络爬虫,有个学习任务是需要爬取巨潮资讯的某一板块的咨询
如下图的内容:在这里插入图片描述
使用的代码如下

class JuchaonewsSpider(scrapy.Spider):
    name = 'juchaonews'
    allowed_domains = ['www.cninfo.com.cn']
    start_urls = ['http://www.cninfo.com.cn/new/commonUrl?url=disclosure/list/notice#sseMain']
    def parse(self, response):
        item_nodes = response.css(
            '#pane-important > div.el-table-box > div > div.el-table__body-wrapper.is-scrolling-none > table > tbody > tr')
        for item_node in item_nodes:
            item_loader = JuchaoItemLoader(item=JuchaoItem(), selector=item_node)
            item_loader.add_css('daima', '.el-table_1_column_1 .cell .ahover span::text').extract_first()   
            item_loader.add_css('jiancheng', '.el-table_1_column_2 .cell .ahover span::text').extract_first()
            item_loader.add_css('biaoti', '.el-table_1_column_3 .cell a::text').extract_first()
            item_loader.add_css('shijian', '.el-table_1_column_4 .cell span::text').extract_first()
            stock_item = item_loader.load_item()
            yield stock_item

使用css选择器进行选择相应的标签的,并显示其文本。但是在控制台没有输出一点的文本内容。很奇怪,因为在证券之星http://quote.stockstar.com/stock/ranklist_a_3_1_1.html网站使用相同方法爬取数据是可以正确得到结果的。
网上查了好久,最后通过打印输出response.text发现response包含的网页代码中与原网页的代码不同,response中缺少所有数据方面的内容,推测该网站的内容是动态生成。使用相同的方法查看证券之星的response中的内容是包含全部数据信息的。
如图:
证券之星response内容

所以现在我的学习任务又要拓展到selenium了

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
在PyCharm中爬取数据可以通过以下步骤进行: 1. 首先,确保已经安装了requests库和BeautifulSoup库。你可以在PyCharm的主页面文件选项下找到设置,然后进入项目解释器,点击软件包上的+号来查询并安装这两个库。\[2\] 2. 在你的Python代码中导入requests和BeautifulSoup库。你可以使用以下代码行导入它们: ```python import requests from bs4 import BeautifulSoup ``` 3. 使用requests库发送HTTP请求来获取网页的内容。你可以使用以下代码行来发送GET请求并获取网页内容: ```python url = "你要爬取的网页的URL" response = requests.get(url) ``` 4. 使用BeautifulSoup库解析网页内容。你可以使用以下代码行将网页内容解析为BeautifulSoup对象: ```python soup = BeautifulSoup(response.text, "html.parser") ``` 5. 使用BeautifulSoup对象来提取你想要的数据。你可以使用find()或find_all()方法来查找特定的HTML标签或CSS选择器,并提取出相应的数据。例如,如果你想提取所有带有特定CSS类的元素,你可以使用以下代码行: ```python data = soup.find_all(class_="your-css-class") ``` 6. 最后,你可以对提取出的数据进行处理和保存,根据你的需求进行进一步的操作。 总结起来,在PyCharm中爬取数据的步骤包括导入所需的库、发送HTTP请求、解析网页内容、提取所需数据和进一步处理数据。希望这些步骤对你有帮助! #### 引用[.reference_title] - *1* *2* *3* [如何用六步教会你使用python爬虫爬取数据](https://blog.csdn.net/m0_59162248/article/details/129156776)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我的Y同学

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值