Python有趣|微博网红大比拼

前言

python爬爬可以说啥都能爬到,今天小编就给大家分享一下怎样爬微博网红，我们找找谁是最美网红。今天的流程如下：

网页分析

这里的微博网红链接：https://weibo.com/a/hot/7549094253303809_1.html，这个是微博关注中的新鲜事（大家不需要了解太多，就这个url即可）。里面收集了近段时间的热门网红微博。

哦对了，在分享这篇文字前，我先说一下，我这里有一份python学习资料，加小编微信：Pythonsusu

有视频教程 ，直播课程 ，等学习资料，期待你的加入

这个网页简单，我们直接使用lxml库来解析即可。这里就强调一点，这个图片是普清的，进入详细页面可以是高清图片，但我发现只需要将图片的url中的“thumb180”换成“mw690”就可以将图换成高清。例如：

1. https://ww4.sinaimg.cn/thumb180/6960aeaaly1g23wtlad3sj21sc2dsu0x.jpg

2.  

3. https://ww4.sinaimg.cn/mw690/6960aeaaly1g23wtlad3sj21sc2dsu0x.jpg

爬虫代码

根据上面的思路，我们编写爬虫代码：

1. import requests

2. from lxml import etree

3. import re

4.  

5. headers = {

6. 'cookie':''

7. }

8.  

9. url = 'https://weibo.com/a/hot/7549094253303809_1.html'

10.  

11. res = requests.get(url,headers=headers)

12. html = etree.HTML(res.text)

13. infos = html.xpath('//div[@class="UG_list_a"]')

14.  

15. for info in infos:

16. name = info.xpath('div[2]/a[2]/span/text()')[0]

17. content = info.xpath('h3/text()')[0].strip()

18. imgs = info.xpath('div[@class="list_nod clearfix"]/div/img/@src')

19. print(name,content)

20. i = 1

21. for img in imgs:

22. href = 'https:' + img.replace('thumb180','mw690')

23. print(href)

24. res_1 = requests.get(href,headers=headers)

25. fp = open('row_img/' + name + '+' + content + '+' + str(i) + '.jpg','wb')

26. fp.write(res_1.content)

27. i = i + 1

记得换上自己的cookie后就可以直接使用啦~

人脸识别API

之前我们就讲解过了人脸识别API的使用，这里把在讲解一遍。

首先，打开网址（http://ai.baidu.com/tech/face），登陆后立即使用，我们首先创建一个人脸识别的应用。api的使用说简单很简单（看文档就好了），说难也很难（大家的阅读能力在慢慢下降）。首先，我们看着文档（https://ai.baidu.com/docs#/Face-Detect-V3/top），一步步来。

接着我们通过API Key和Secret Key获取token：

1. import requests

2.  

3. ak = ''

4. sk = ''

5.  

6. host = 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id={}&client_secret={}'.format(ak,sk)

7.  

8. res = requests.post(host)

9. print(res.text)

我们拿着token，来请求对应的网页就可以获取图片的内容了。我们拿张超越妹妹的图片做例子~

1. import base64

2. import json

3.  

4. token = ''

5.  

6. def get_img_base(file):

7. with open(file,'rb') as fp:

8. content = base64.b64encode(fp.read())

9. return content

10.  

11. request_url = "https://aip.baidubce.com/rest/2.0/face/v3/detect"

12. request_url = request_url + "?access_token=" + token

13.  

14. params = {

15. 'image':get_img_base('test.jpg'),

16. 'image_type':'BASE64',

17. 'face_field':'age,beauty,gender'

18. }

19.  

20. res = requests.post(request_url,data=params)

21. result = res.text

22. json_result = json.loads(result)

23. code = json_result['error_code']

24. gender = json_result['result']['face_list'][0]['gender']['type']

25. beauty = json_result['result']['face_list'][0]['beauty']

26. print(code,gender,beauty)

27.  

28. ### result 0 female 76.25

这里的token为前面请求得到的，params的参数中，图片需要base64编码~超越妹妹76.25，还算给力。

综合使用

最后，我们逐一请求我们保存的图片，获取小姐姐图片的分数（这里处理为1-10分），并分别存在不同的文件夹中。

1. import requests

2. import os

3. import base64

4. import json

5. import time

6.  

7. def get_img_base(file):

8. with open(file,'rb') as fp:

9. content = base64.b64encode(fp.read())

10. return content

11.  

12. file_path = 'row_img'

13. list_paths = os.listdir(file_path)

14. for list_path in list_paths:

15. img_path = file_path + '/' + list_path

16. # print(img_path)

17.  

18. token = '24.890f5b6340903be0642f9643559aa7a1.2592000.1557979582.282335-15797955'

19.  

20. request_url = "https://aip.baidubce.com/rest/2.0/face/v3/detect"

21. request_url = request_url + "?access_token=" + token

22.  

23. params = {

24. 'image':get_img_base(img_path),

25. 'image_type':'BASE64',

26. 'face_field':'age,beauty,gender'

27. }

28.  

29. res = requests.post(request_url,data=params)

30. json_result = json.loads(res.text)

31. code = json_result['error_code']

32. if code == 222202:

33. continue

34.  

35. try:

36. gender = json_result['result']['face_list'][0]['gender']['type']

37. if gender == 'male':

38. continue

39. beauty = json_result['result']['face_list'][0]['beauty']

40. new_beauty = round(beauty/10,1)

41. print(img_path,new_beauty)

42. if new_beauty >= 8:

43. os.rename(os.path.join(file_path,list_path),os.path.join('8分',str(new_beauty) + '+' + list_path))

44. elif new_beauty >= 7:

45. os.rename(os.path.join(file_path,list_path),os.path.join('7分',str(new_beauty) + '+' + list_path))

46. elif new_beauty >= 6:

47. os.rename(os.path.join(file_path,list_path),os.path.join('6分',str(new_beauty) + '+' + list_path))

48. elif new_beauty >= 5:

49. os.rename(os.path.join(file_path,list_path),os.path.join('5分',str(new_beauty) + '+' + list_path))

50. else:

51. os.rename(os.path.join(file_path,list_path),os.path.join('其他分',str(new_beauty) + '+' + list_path))

52. time.sleep(1)

53.  

54. except KeyError:

55. pass

56. except TypeError:

57. pass