BeautifulSoup

#encoding='utf-8'
from urllib.request import urlopen
from bs4 import BeautifulSoup
html=urlopen('http://pythonscraping.com/pages/page1.html')
html=urlopen('http://pythonscraping.com/pages/page1.html')
html1=urlopen('https://book.douban.com/')
#r=html1.read().decode('utf-8')
bsobj=BeautifulSoup(html1,from_encoding='utf-8')
g1=bsobj.findAll('h4',{'class':'title'})
for g in g1:
    print(g.get_text())#去掉标签，获取内容


#####
findAll(tag,attributes,recuributes,recursive,text,limit,keywords)
find(tag,attributes,recursive,text,keywords)#limit=1时的findAll
tag:传递一标签或多标签。例如findAll（{'h2','h3','h4'}）
attributes:用python字典封装的一个标签的若干属性和对应的属性值。
例如findAll('span',{'class':{'green','red'}})返回文档里红色与绿色两种颜色的span标签。
recursive:布尔型，Ture查找标签参数的所有子标签，以及子标签的标签。False只查找一级标签。
text:用标签的文本内容去匹配，而不是标签的属性。例如我们查找文本中包含‘广西科学出版社’的数量。
namelist=bsobj.findAll(publisher='广西科学技术出版社')

print(len(namelist))

处理子标签和其他后代标签

子标签就是一个父标签的下一级，而后代标签是指一个父标签
下面所有级别的标签。例如，tr 标签是tabel 标签的子标签，而tr、th、td、img 和span
标签都是tabel 标签的后代标签（我们的示例页面中就是如此）。所有的子标签都是后代标

签，但不是所有的后代标签都是子标签。