1.了解网页的结构,HTML的组成。
2.BeautifulSoup的用法。
3.指定的解析器通常为“lxml”
encoding:指定编码格式。
如果不指定,通常认为和网页读进来的格式一致,不一致的话会出现乱码。
4.查找节点。
举例:bs.find_all(“a”,class_=“a_link”)的意思是:找到a这个标签,然后符合class_=a_link的这样一个节点(class在python中是关键字的意思,所以需要加_下划线变为class_)
或者干脆直接用字典的方式表示也是可以的。即
bs.find_all(“a”,{“class”:“a_link”})意思也是一样的。即是:
找到a这个标签,然后符合class=a_link的这样一个节点。