记录一次爬虫的总结

beasutifulSoup 的操作

其中获取某一个div标签
ps.find("div", attrs={'class': 'xxx'})
ps.find_all('div', attrs={'id': 'xxx'})

for div in ps.find_all('div': attrs={'class': 'xxx'}):
	print(div.get_text())
	# 或者现在还可以继续来获取每一个div下面的子标签 因为可能存在很多嵌套的div
	one = div.find('div', attrs={'class':'xxx'})
	print(one) # 当然有可能这个div也是嵌套操作的

其中BeautifulSoup4是将复杂的HTML解析成一个树结构, 每一个节点都是Python对象,所有对象可以归纳为4种:
Tag
NavigableString
BeautifulSoup
Comment
其中案例:
from bs4 import BeautifulSoup
file = open(’./aa.html’, ‘rb’)
html = file.read()
bs = BeautifulSoup(html,“html.parser”)

获取title标签的所有内容

print(bs.title) 

获取head标签的所有内容

print(bs.head) 

获取第一个a标签的所有内容

print(bs.a) 当单文档中有多个标签的值的时候  bs.某一个标签 拿到的是第一个的这个标签

类型

print(type(bs.a)) this return 的是Tag类型
其实作为一tag具有name 和attrs 
print(ps.a.attrs) 返回的是一个字典 a标签的所有属性打印出来
#还可以利用get方法，传入属性的名称，二者是等价的
print(bs.a['class']) # 等价 bs.a.get('class')
可以对这些属性和内容等等进行修改
bs.a['class'] = "newClass"
print(bs.a) 

还可以对这个属性进行删除

del bs.a['class'] 
print(bs.a)

当我们定位到某一个标签的时候, 想要获取这个标签的内容

print(bs.title.string) 
print(type(bs.title.string)) NavigableString

.contents 获取tag下面的所有子节点 返回一个list

.descendants：获取Tag的所有子
.strings：如果Tag包含多个字符串，即在子孙节点中有内容，可以用此获取，而后进
.stripped_strings：与strings用法一致，只不过可以去除掉那些多余的空
.parent：获取Tag的
.parents：递归得到父辈元素的所有节点，返回一个
.previous_sibling：获取当前Tag的上一个节点，属性通常是字符串或空白，真实结果是当前标签与上一个标签之间的顿号和
.next_sibling：获取当前Tag的下一个节点，属性通常是字符串或空白，真是结果是当前标签与下一个标签之间的顿号与
.previous_siblings：获取当前Tag的上面所有的兄弟节点，返回一个
.next_siblings：获取当前Tag的下面所有的兄弟节点，返回一个
.previous_element：获取解析过程中上一个被解析的对象(字符串或tag)，可能与previous_sibling相同，但通常是不
.next_element：获取解析过程中下一个被解析的对象(字符串或tag)，可能与next_sibling相同，但通常是不
.previous_elements：返回一个生成器，可以向前访问文档的解
.next_elements：返回一个生成器，可以向后访问文档的解
.has_attr：判断Tag是否包含属性

搜索文档树

find_all(name, attrs, recursive, text, **kwargs)
name: 参数是说明查找字符串完全匹配的内容
a_list = bs.find_all(‘a’) 返回所有的a标签的list的操作
另外这个参数还是可以接收正则表达式的的
attrs: 定义一个字典 字典的key是标签的属性name value: 是对应的属性的值
bs = BeautifulSoup(html,“html.parser”)

查询id=head的Tag

t_list = bs.find_all(id="head") print(t_list) 

查询href属性包含ss1.bdstatic.com的Tag

t_list = bs.find_all(href=re.compile("http://news.baidu.com")) 
print(t_list) 

查询所有包含class的Tag(注意：class在Python中属于关键字，所以加_以示区别)

t_list = bs.find_all(class_=True) 
for item in t_list: 
    print(item)

text: 通过text参数可以搜索文档中的字符串内容，与name参数的可选值一样，text参数接受 字符串，正则表达式