这是一个python爬虫求助帖

最新推荐文章于 2023-09-18 18:41:58 发布

yd_

最新推荐文章于 2023-09-18 18:41:58 发布

阅读量956

点赞数

分类专栏：提问文章标签： python

本文链接：https://blog.csdn.net/m0_46991604/article/details/105709640

版权

新手在学习Python爬虫过程中遇到问题，尝试爬取淘宝商品信息时代码无法正常工作。代码显示只输出了一个表头。怀疑问题可能出在headers部分。提供了两段代码，一段能正常工作，另一段在改变商品关键词后出现问题。

摘要由CSDN通过智能技术生成

各位大佬好，这里是一个新人（对于python或这个软件或爬虫来说都是）。不知道上哪发帖子，大家的博客好像都是传道授业解惑的，我拿来问问题好像不太ok…总之请多包涵！我正在学中国mook嵩天老师的python爬虫课程，目前进行到爬取淘宝商品信息实例编写，然后在这里卡了两天…下面是我按照老师视频和另一篇博客写出来的代码：
`import re
import requests

def getHTMLText(url):
try:
headers = {
‘authority’: ‘s.taobao.com’,
‘cache-control’: ‘max-age=0’,
‘upgrade-insecure-requests’: ‘1’,
‘user-agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36’,
‘accept’: ‘text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,/;q=0.8,application/signed-exchange;v=b3;q=0.9’,
‘sec-fetch-site’: ‘same-origin’,
‘sec-fetch-mode’: ‘navigate’,
‘sec-fetch-user’: ‘?1’,
‘sec-fetch-dest’: ‘document’,
‘referer’: ‘https://www.taobao.com/’,
‘accept-language’: ‘zh-TW,zh;q=0.9,en-US;q=0.8,en;q=0.7’,
‘cookie’: ‘thw=cn; t=c9b0f4dd77e9e7b2d5f3f452ed1c38fb; cna=wu8mFy9yqEACAWcbGiBk+mIZ; sgcookie=EKZRg%2FgPQj%2F2P1%2Bir5Gkt; uc3=vt3=F8dBxGR2VD2qYYsdBAU%3D&nk2=F5RCZI4eenEj1r0%3D&lg2=Vq8l%2BKCLz3%2F65A%3D%3D&id2=VyySWWIA43khYA%3D%3D; lgc=tb713019711; uc4=id4=0%40VXtdLOWymc9WlbfiwLiEKHboleYx&nk4=0%40FY4JikNwFlRRaaFjct%2BPoCsgNdDnMg%3D%3D; tracknick=tb713019711; cc=UIHiLt3xSw%3D%3D; enc=aEY9DGTiFZ3i7C6EzxZebLUJUX4vGzi27p2UA0YdxTgCTWkykGBO9M7zZIdGmTeNAyfWlgnVCJTJpCiLCH8dMQ%3D%3D; tfstk=cb-RBdNGKjclYM9P7H3cAGITp9ORZbDRt81avvNf37_gferdiG-