python爬虫的有关问题

大家好

作为初来乍到的新人,首先先向社区里面的大佬或者专业人员问好!

最近在b站上看到一段视频,是关于python爬虫的。

但是我在运行的时候,出现了一些问题。

在第十七行如果我用的是(1,6)则可以正常运行,但是如果我改为(1,380)想要获取全部页面的数据的时候就会出现问题。

百度了一下,有的说是双引号的问题,有的说是json问题,有的说是url问题。我都尝试着改了一下,但是都没有起到效果。可能是我改的不对,还请多多指教。

import requests
import json
all_data_list=[]#存储所有的企业详情数据
id_list=[]#存储id账号
#1.批量获取企业的id值
#2.UA伪装
headers={'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.0.1 Safari/605.1.15'}
url='http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList'
for page in range(1,380):
    page=str(page)
#3.参数的封装,这里是post请求,用的是data
    data={'on': 'true',
            'page': page,
            'pageSize': '15',
            'productName':
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
抱歉,我没有找到与python爬虫答辩相关的引用内容。但是,关于Python爬虫的一些常见问题和答案可能包括: 1. 什么是Python爬虫Python爬虫是一种利用Python编程语言编写的自动化程序,用于从网页或其他网络资源中提取数据。 2. Python爬虫的工作原理是什么? Python爬虫通过发送HTTP请求获取网页内容,然后使用解析库(如BeautifulSoup或Scrapy)来提取所需的数据。 3. Python有哪些常用的爬虫库? Python中有许多强大的爬虫库,包括BeautifulSoup、Scrapy、Requests等。 4. 爬虫爬取数据时是否需要获得网站的许可? 是的,爬虫在爬取数据之前需要遵守网站的爬虫协议,确保合法、合规地进行数据爬取。 5. 爬虫如何处理网站的反爬机制? 爬虫可以使用一些技术手段来绕过网站的反爬机制,如使用代理IP、设置请求头、模拟用户行为等。 这些是一些常见的Python爬虫问题和答案,希望对你的答辩有所帮助。如果你有具体的问题或需要更多信息,请告诉我。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [python爬虫面试 常见问题](https://blog.csdn.net/weixin_39970855/article/details/109984836)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值