爬虫常用模块、方法总结

发送请求，获取源码：

requests

requests.post发送请求，text或content获取源码

requests.get发送请求，text或content获取源码

urllib.request

urllib.request.urlopen(url).read() # 

 

解析：

bs4  

解析方式：html.parase、lxml；

查找一个或者第一个：find

查找多个：find_all

soup  =  BeautifulSoup(contents,  'html.parser' )

     my_girl  =  soup.find_all( 'img' )

     for  girl  in  my_girl:  # 遍历

         link  =  girl.get( 'src' ) 

re

findall

 

下载：

urllib.request

urllib.request.urlretrieve(link,  'image\%s.jpg' % x)

requests

requests.get('http:'+img_url).content

with open('doutu/%s.jpg'%x, 'wb') as f:

　　 f.write(img_content)

 

转载于:https://www.cnblogs.com/uncleyong/p/6977500.html