【无标题】爬虫爬取

 

1. from urllib import request

2. import re

3.  

4. #定义url

5. page=100

6. url='https://tieba.baidu.com/f?kw=%E6%AE%B5%E5%AD%90&ie=utf-8&pn='+str(page)

7. try:

8. #定义请求头

9. headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36'}

10. #定义请求，传入请求头

11. req=request.Request(url,headers=headers)

12. #打开网页

13. resp=request.urlopen(req)

14. #打印响应码，解码

15. content=resp.read().decode('utf-8')

16. print(content)

17. #正则表达式

18. pattern=re.compile(r'<a.*?title=(.*?)\s.*?>(.*?)</a>')

19. #匹配html

20. items=re.findall(pattern,content)

21. #打印解析的内容

22. for i in items:

23. print(i[0]+'\t'+i[1])

24. except request.URLError as e:

25. #打印响应码

26. if hasattr(e,'code'):

27. print(e.code)

28. #打印异常原因

29. if hasattr(e,'reason'):

30. print(e.reason)