新发地蔬菜价格下载代码

from bs4 import BeautifulSoup
import requests
import json
import pandas as pd
url = "http://www.xinfadi.com.cn/getCat.html"
resp = requests.get(url)

startIndex =resp.text.find("list")
print("获取起始索引，" , startIndex)
# 找到最后一个”】“的位置
endIndex = resp.text.find("]") + 1
print("截取索引结束," , endIndex)
# 通过起始位置和结束位置找到[]之间的数据
str = resp.text[startIndex:endIndex].replace("list" , "")
# 将获取的数据解析成json列表
jsonlist = json.loads(str[2:])
print(jsonlist)
first_bond_data = pd.DataFrame(jsonlist)
pd.set_option("display.max_columns" , None)
pd.set_option("display.max_rows" , None)
pd.set_option("display.width" , 500)
pd.set_option("display.unicode.ambiguous_as_wide" , True)
pd.set_option("display.unicode.east_asian_width" , True)
print(first_bond_data)

运行效果