python爬虫系列一

不多说直接放代码

# encoding: utf-8
#加载bs4的包里面的beatifusoup类
from bs4 import BeautifulSoup

#加载urllib，爬虫必备
import urllib
#声明一个变量，传入url给url的变量
url = 'https://www.douban.com/tag/小说/?focus=book'

#调用urllib类里面的urlopen函数，进行获取到url的html代码
htmurl = urllib.urlopen(url,'html.parser')

#创建一个beautifulsoup的对象soup
soup = BeautifulSoup(htmurl)

#首先获取div标签里面的所有内容
book_div = soup.find(attrs={'id':'book'})

#然后获取div标签里面的a标签内容
book_a = soup.find_all(attrs={'class':'title'})

#循环a标签，然后把a标签里面的string打印出来
for book in book_a:
    print book.string