python动态爬取不一样的url_想用python爬取新闻网站,为什么不同文章的xhr链接却是一样的?...

def news_crawler():

recommend_list = []

url = "https://www.infoq.cn/public/v1/article/getIndexList"

r = requests.get(url)

r.encoding = 'utf-8'

r_json = r.json()

r_json = r_json['data']['recommend_list']

for i in range(len(r_json)):

title = r_json[i]['article-title']

module = 2

author = r_json[i]['author']['nickname']

browse_time = 0

preference = 1

abst = "Lorem ipsum dolor sit amet, consectetur adipisicin..."

uuid = r_json[i]['uuid']

content = get_news_content(uuid)

新手练习,想用python爬取infoq网站的新闻,但发现他们的网站,明明是不同的文章,但加载的时候xhr链接(上述代码中的url变量)是一样的?这样的话它们怎么区分不同的文章?

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值