用python爬虫豆瓣网_python爬虫豆瓣网

importrequestsfrom bs4 importBeautifulSoup

url= 'http://www.douban.com'wb_data=requests.get(url)

soup= BeautifulSoup(wb_data.text,'lxml')

titles= soup.select('#anony-events > div > div.main > div > ul > li > div.info > div.title > a')

times= soup.select('#anony-events > div > div.main > div > ul > li > div.info > div.datetime')

didian= soup.select('#anony-events > div > div.main > div > ul > li > div.info > address')

scores= soup.select('#anony-events > div > div.main > div > ul > li > div.info > div.follow')for title,time,di,score inzip(titles,times,didian,scores):

data={'title':title.get_text(),'time':time.get_text(),'di':di.get_text(),'score':score.get_text()

}for key,value indata.items():print(key,':',value)print('------------------------------')

简单爬取豆瓣网同城活动内容，爬取结果：

di :

金阳东街18号万科都荟体验...

title :

万科携手设计地图100 献上原创“家剧”大片

time :

5月29日 周日 - 6月12日 周日

score :

23人关注

------------------------------

di :

云南路50号和光陶社

title :

色诱——小草釉画展

time :

5月23日 周一 - 6月6日 周一

score :

52人关注

------------------------------

di :

长江路101号 南京文化艺术中心

title :

蓝色多瑙河四手联弹钢琴音乐会

正在售票

time :

8月20日 周六 19:30 - 21:00

score :

12人关注

------------------------------

di :

玄武区长江路101号南京文化...

title :

南京站-爱乐汇·“天空之城”久石让&宫崎骏动漫作品视...

正在售票

time :

7月15日 周五 19:30 - 21:30

score :

10人关注

------------------------------