参考代码:
import requests
from bs4 import BeautifulSoup
url = 'https://movie.douban.com/chart' # 设置爬取网址
hd = {"User-agent": "*"} # 设置请求方式
r = requests.get(url,headers=hd)
r.encoding = 'utf-8' # r.apparent_encoding设置网页字符编码方式
soup = BeautifulSoup(r.content, 'html.parser')print('网页标题:',soup.title.text)# 输出title标签的内容#排行榜信息
name=soup.select('td>div>a')#电影名#请同学们补充上映时间与豆瓣评分
time=soup.select('td>div>p')
score=soup.select('td>div>div>span')for i in range(len(name)): print(name[i].text.replace(' ','').replace('\n','')) # 输出电影名 # 输出上映时间print(time[i].text) # 输出豆瓣评分print(score[3*i+1].text,score[3*i+2].text)with open('douban.txt', 'w', encoding='utf-8')as f: # 保存到记事本文件中
f.write(soup.title.text) #将爬取的数据存入记事本douban.txtfor i in range(len(name)):
f.write(name[i].text.replace(' ', '').replace('\n', '')+'\n') # 输出电影名
f.write(time[i].text+'\n')# 输出上映时间
f.write(score[3*i+1].text+score[3*i+2].text+'\n'+'\n')# 输出豆瓣评分#ftp://172.16.20.46 用户密码:2019 拓展:自己去下载一部小说清洗提交
相关文章:
爬虫系列: 程序5-3-3 爬取购物平台商品销售数据 Python|词频云图 爬虫|爬取全国中小学电脑制作活动技术讲座视频 爬虫|以豆瓣为例简单地介绍清洗数据的方法 爬虫|以豆瓣为例简单地介绍爬取网站数据的方法 爬虫|python读写csv文件的方法完成生涯规划表 推荐|Python 爬虫系列教程一爬取批量百度图片 使用BeautifulSoup解析网页及清洗数据 爬虫的基本原理 关于爬虫的合法性 中国爬虫违法违规案例汇总 第五章 数据处理和可视化表达的学习