不多说直接放代码
# encoding: utf-8 #加载bs4的包里面的beatifusoup类 from bs4 import BeautifulSoup
#加载urllib,爬虫必备 import urllib #声明一个变量,传入url给url的变量 url = 'https://www.douban.com/tag/小说/?focus=book'
#调用urllib类里面的urlopen函数,进行获取到url的html代码 htmurl = urllib.urlopen(url,'html.parser')
#创建一个beautifulsoup的对象soup soup = BeautifulSoup(htmurl)
#首先获取div标签里面的所有内容 book_div = soup.find(attrs={'id':'book'})
#然后获取div标签里面的a标签内容 book_a = soup.find_all(attrs={'class':'title'})
#循环a标签,然后把a标签里面的string打印出来 for book in book_a: print book.string