def getHTMLtext(url): """请求获得网页内容""" try: r = requests.get(url, timeout = 30) r.raise_for_status() r.encoding = r.apparent_encoding print("Success") return r.text except: print("Fail") return" " def get_content(html): """处理得到有用信息保存数据文件""" final = [] # 初始化一个列表保存数据 bs = BeautifulSoup(html, "html.parser") # 创建BeautifulSoup对象 body = bs.body #下面爬取当天的时间 data = body.find('div', {'id': '7d'}) ul = data.find('ul') lis = ul.find_all('li') for day in lis: temp_list = [] date = day.find('h1').string # 找到日期 temp_list.append(date) # 下面爬取当天的数据 data2 = body.find_all('div', {'class': 'sk mySkyNull'}) text = data2[2].find('script').string text = text[text.index('=')+1 :-2] # 移除改var data=将其变为json数据 jd =
大佬们,刚开始学python,现在写了一个爬取天气的程序,运行不出结果是什么原因。
最新推荐文章于 2024-10-07 01:36:35 发布
本文介绍了一个Python初学者尝试编写爬虫获取天气信息的程序。通过使用requests库获取网页内容,BeautifulSoup解析HTML,以及json处理数据。在获取和处理过程中,程序分别抓取了日期、时间、温度和相对湿度等信息,但遇到了运行不出结果的问题。最后,作者将爬取的数据以csv格式保存。
摘要由CSDN通过智能技术生成