爬取12306余票信息报错:json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

本文介绍了解决在爬取12306网站数据时遇到的网络错误问题,通过添加cookie到header或直接使用cookie,成功绕过了网站的访问限制,实现了稳定的数据抓取。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

requests.get网址后报错,打印爬取到的信息显示为“网络可能存在问题,请您重试一下!”

原因为request.get()是独立的一次访问,没有携带前几个访问请求反馈后的状态,相当于把每次请求看成了独立浏览器去完成的,所以12306拒绝访问。

解决方法为增加cookie,直接写入header或者直接使用cookie,内容可以从自己浏览的网页中获得。

cookie = '''JSESSIONID=19244E64B10E57EFB354E317CC0DD2C5; BIGipServerotn=535822858.50210.0000; RAIL_EXPIRATION=1582333451491; RAIL_DEVICEID=McIuEPF2UftrVKz1eNePew8hyOmYixP1IVU1JOTtULuRy2igIY3K71OCqb2YQni1FEkLyWbxf508zd6v91pHbnHRZ2UU0SLJBBsbittDazpLO-ZB7zoirqGyH9ao0cAv_d76BNGKrAVsosQuv0EkQuOczvUHWMcx; BIGipServerpool_passport=317522442.50215.0000; route=9036359bb8a8a461c164a04f8f50b252; _jc_save_toStation=%u4E0A%u6D77%2CSHH; _jc_save_wfdc_flag=dc; _jc_save_fromStation=%u957F%u6C99%2CCSQ; _jc_save_fromDate=2020-02-19; _jc_save_toDate=2020-02-19'''
header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
          'Connection':'keep-alive',
          'accept':'*/*',
          'Cookie':cookie}
url = 'https://kyfw.12306.cn/otn/leftTicket/queryO?leftTicketDTO.train_date=2020-02-19&leftTicketDTO.from_station=CSQ&leftTicketDTO.to_station=SHH&purpose_codes=ADULT'
response = requests.get(url, headers = header)
cookie = {'JSESSIONID':'19244E64B10E57EFB354E317CC0DD2C5',
          'BIGipServerotn':'535822858.50210.0000',
          'RAIL_EXPIRATION':'1582333451491',
          'RAIL_DEVICEID':'McIuEPF2UftrVKz1eNePew8hyOmYixP1IVU1JOTtULuRy2igIY3K71OCqb2YQni1FEkLyWbxf508zd6v91pHbnHRZ2UU0SLJBBsbittDazpLO-ZB7zoirqGyH9ao0cAv_d76BNGKrAVsosQuv0EkQuOczvUHWMcx',
          'BIGipServerpool_passport':'317522442.50215.0000',
          'route':'9036359bb8a8a461c164a04f8f50b252',
          '_jc_save_toStation':'%u4E0A%u6D77%2CSHH',
          '_jc_save_wfdc_flag':'dc',
          '_jc_save_fromStation':'%u957F%u6C99%2CCSQ',
          '_jc_save_fromDate':'2020-02-19',
          '_jc_save_toDate':'2020-02-19'}
url = 'https://kyfw.12306.cn/otn/leftTicket/queryO?leftTicketDTO.train_date=2020-02-19&leftTicketDTO.from_station=CSQ&leftTicketDTO.to_station=SHH&purpose_codes=ADULT'
response = requests.get(url, cookies = cookie)

 


参考资料:https://blog.csdn.net/brave_heart_lxl/article/details/102538825

### JSON解码错误的原因 当遇到`json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)` 错误时,通常意味着尝试解析的内容为空字符串或不是有效的JSON格式[^1]。 ### 解决方案 #### 方法一:验证文件内容 确保要解析的文件确实包含有效且非空的JSON数据。可以通过打开文件并打印其前几行来初步检查: ```python with open('file.json', 'r') as file: content = file.read() print(content[:100]) # 打印文件开头部分以便检查 ``` 如果输出显示文件为空,则需要调查为何目标文件未被正确写入或传输过程中丢失了内容[^2]。 #### 方法二:单次读取操作 在同一 `with` 块内多次调用 `json.load()` 可能导致指针位置移动而引发异常。建议只进行一次加载并将结果赋给多个变量: ```python import json def load_data(annotations_file, is_train=True): with open(annotations_file) as f: loaded_json = json.load(f) data = loaded_json["annotations"] length = len(data) if is_train: data = data[:int(length * 0.8)] else: data = data[int(length * 0.8):] return data, length ``` 这种方法避免了重复访问文件流中的相同位置,从而防止潜在的位置偏移问题[^3]。 #### 方法三:捕获异常并提供更多信息 为了更好地理解具体在哪一步发生了解析失败,可以在代码中加入更详细的日志记录逻辑: ```python try: with open(annotations_file) as f: data = json.load(f)["annotations"] except FileNotFoundError: print("指定路径不存在该文件") except json.JSONDecodeError as e: print(f"JSON解析失败: {e}") else: length = len(data) ... ``` 通过这种方式可以获得更加具体的诊断信息帮助定位实际原因所在。
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值