python爬虫爬取京东网页

最新推荐文章于 2024-08-06 09:48:26 发布

一样邪恶

最新推荐文章于 2024-08-06 09:48:26 发布

阅读量4.8k

点赞数 2

分类专栏：爬虫 python 文章标签： python 爬虫

本文链接：https://blog.csdn.net/yunfeiyang520/article/details/81608081

版权

本文详细介绍了如何利用Python进行京东网站的数据爬取，包括设置请求头、解析HTML、处理反爬策略等关键步骤，旨在帮助读者掌握网络爬虫的基本技能。

摘要由CSDN通过智能技术生成

import json
import requests
from bs4 import BeautifulSoup

input_name = input('请输入搜索关键字：')

# 获取京东商品前50页的信息，包括名称，价格，图片，商店

def get_jd():
    #循环获得网页url
    for i in range(1, 51):
        #定义请求头
        headers = {
            'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) '
                          'AppleWebKit/537.36 (KHTML, like Gecko) '
                          'Chrome/63.0.3239.132 Safari/537.36',
            'upgrade-insecure-requests': '1',
        }
        url = 'https://search.jd.com/Search?keyword={}&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&page={}'.format(input_name, 2*i-1)
        #获取网页
        html = requests.get(url, headers=headers).content.decode('utf-8')
        #分析网页
        soup = BeautifulSoup(html, 'lxml')
        l