求教：为什么爬虫的程序没报错，却在文档里输不出东西？

最新推荐文章于 2024-01-09 14:46:41 发布

Black tuxedo

最新推荐文章于 2024-01-09 14:46:41 发布

阅读量1k

点赞数

文章标签： python

本文链接：https://blog.csdn.net/weixin_46030458/article/details/107755153

版权

在Python爬虫项目中，遇到程序运行无错误，但在目标文档中无法输出数据的问题。通过检查代码，发现可能的原因包括：请求头设置、网页编码处理、BeautifulSoup解析以及正则表达式匹配等环节。通过对这些环节的排查和优化，可以解决此类问题。

摘要由CSDN通过智能技术生成

求教：为什么爬虫的程序没报错，却在文档里输不出东西？

import requests
from bs4 import BeautifulSoup
import traceback
import re

def get_HTML_text(url):
“获取网页的源码”
try:
kv ={‘user_agent’ : ‘mozilla/5.0’}
r = requests.get(url,timeout = 30, headers = kv)
r.encoding = r.apparent_encoding
return r.text
except:
return “get url is return false”

def get_list_stock(url,list):
“获取股票的链接”
u = get_HTML_text(url)
stock_list = BeautifulSoup(u,‘html.parser’)
a = stock_list.find_all(‘a’)
for i in a:
try:
href = i.attrs(‘href’)
scode = re.findall(r"[S][ZH]\d{6}",href)[0]
list.append(scode)
except:
continue

def print_stock_info(url, list, save_path):
“打印列表”
for stock in list:
url2 = url + stock + “/”
html = get_HTML_text(url2)
try:
if html ==