美国网红python微博_Python有趣｜微博网红大比拼

前言

在之前的分享中，我们已经学会了简书和知乎小姐姐的爬虫。今天罗罗攀把魔爪伸向了微博网红们，我们找找谁是最美网红。今天的流程如下：

网页分析

这里的微博网红链接：https://weibo.com/a/hot/7549094253303809_1.html，这个是微博关注中的新鲜事(大家不需要了解太多，就这个url即可)。里面收集了近段时间的热门网红微博。

Python学习交流群：1004391443

这个网页简单，我们直接使用lxml库来解析即可。这里就强调一点，这个图片是普清的，进入详细页面可以是高清图片，但我发现只需要将图片的url中的“thumb180”换成“mw690”就可以将图换成高清。例如：

https

:

//ww4.sinaimg.cn/thumb180/6960aeaaly1g23wtlad3sj21sc2dsu0x.jpg

https

:

//ww4.sinaimg.cn/mw690/6960aeaaly1g23wtlad3sj21sc2dsu0x.jpg

爬虫代码

根据上面的思路，我们编写爬虫代码：

import

requests

from

lxml

import

etree

import

re

headers

=

{

'cookie'

:

''

}

url

=

'https://weibo.com/a/hot/7549094253303809_1.html'

res

=

requests

.

get

(

url

,

headers

=

headers

)

html

=

etree

.

HTML

(

res

.

text

)

infos

=

html

.

xpath

(

'//div[@class="UG_list_a"]'

)

for

info

in

infos

:

name

=

info

.

xpath

(

'div[2]/a[2]/span/text()'

)[

0

] content

=

info

.

xpath

(

'h3/text()'

)[

0

].

strip

()

imgs

=

info

.

xpath

(

'div[@class="list_nod clearfix"]/div/img/@src'

)

print

(

name

,

content

)

i

=

1

for

img

in

imgs

:

href

=

'https:'

+

img

.

replace

(

'thumb180'

,

'mw690'

)

print

(

href

)

res_1

=

requests

.

get

(

href

,

headers

=

headers

)

fp

=

open

(

'row_img/'

+

name

+

'+'

+

content

+

'+'

+

str

(

i

)

+

'.jpg'

,

'wb'

)

fp

.

write

(

res_1

.

content

)

i

=

i

+

1

记得换上自己的cookie后就可以直接使用啦~

人脸识别API

之前我们就讲解过了人脸识别API的使用，这里把在讲解一遍。

首先，打开网址(http://ai.baidu.com/tech/face)，登陆后立即使用，我们首先创建一个人脸识别的应用。api的使用说简单很简单(看文档就好了)，说难也很难(大家的阅读能力在慢慢下降)。首先，我们看着文档(https://ai.baidu.com/docs#/Face-Detect-V3/top)，一步步来。

接着我们通过API Key和Secret Key获取token：

import

requests

ak

=

''

sk

=

''

host

=

'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id={}&client_secret={}'

.

format

(

ak

,

sk

)

res

=

requests

.

post

(

host

)

print

(

res

.

text

)

我们拿着token，来请求对应的网页就可以获取图片的内容了。我们拿张超越妹妹的图片做例子~

import

base64

import

json

token

=

''

def

get_img_base

(

file

):

with

open

(

file

,

'rb'

)

as

fp

:

content

=

base64

.

b64encode

(

fp

.

read

())

return

content

request_url

=

"https://aip.baidubce.com/rest/2.0/face/v3/detect"

request_url

=

request_url

+

"?access_token="

+

token

params

=

{

'image'

:

get_img_base

(

'test.jpg'

),

'image_type'

:

'BASE64'

,

'face_field'

:

'age,beauty,gender'

}

res

=

requests

.

post

(

request_url

,

data

=

params

)

result

=

res

.

text

json_result

=

json

.

loads

(

result

)

code

=

json_result

[

'error_code'

]gender

=

json_result

[

'result'

][

'face_list'

][

0

][

'gender'

][

'type'

]beauty

=

json_result

[

'result'

][

'face_list'

][

0

][

'beauty'

]print

(

code

,

gender

,

beauty

)

### result 0 female 76.25

这里的token为前面请求得到的，params的参数中，图片需要base64编码~超越妹妹76.25，还算给力。

综合使用

最后，我们逐一请求我们保存的图片，获取小姐姐图片的分数(这里处理为1-10分)，并分别存在不同的文件夹中。

import

requests

import

os

import

base64

import

json

import

time

def

get_img_base

(

file

):

with

open

(

file

,

'rb'

)

as

fp

:

content

=

base64

.

b64encode

(

fp

.

read

())

return

content

file_path

=

'row_img'

list_paths

=

os

.

listdir

(

file_path

)

for

list_path

in

list_paths

:

img_path

=

file_path

+

'/'

+

list_path

# print(img_path)

token

=

'24.890f5b6340903be0642f9643559aa7a1.2592000.1557979582.282335-15797955'

request_url

=

"https://aip.baidubce.com/rest/2.0/face/v3/detect"

request_url

=

request_url

+

"?access_token="

+

token

params

=

{

'image'

:

get_img_base

(

img_path

),

'image_type'

:

'BASE64'

,

'face_field'

:

'age,beauty,gender'

}

res

=

requests

.

post

(

request_url

,

data

=

params

)

json_result

=

json

.

loads

(

res

.

text

)

code

=

json_result

[

'error_code'

]

if

code

==

222202

:

continue

try

:

gender

=

json_result

[

'result'

][

'face_list'

][

0

][

'gender'

][

'type'

]

if

gender

==

'male'

:

continue

beauty

=

json_result

[

'result'

][

'face_list'

][

0

][

'beauty'

] new_beauty

=

round

(

beauty

/

10

,

1

)

print

(

img_path

,

new_beauty

)

if

new_beauty

>=

8

:

os

.

rename

(

os

.

path

.

join

(

file_path

,

list_path

),

os

.

path

.

join

(

'8分'

,

str

(

new_beauty

)

+

'+'

+

list_path

))

elif

new_beauty

>=

7

:

os

.

rename

(

os

.

path

.

join

(

file_path

,

list_path

),

os

.

path

.

join

(

'7分'

,

str

(

new_beauty

)

+

'+'

+

list_path

))

elif

new_beauty

>=

6

:

os

.

rename

(

os

.

path

.

join

(

file_path

,

list_path

),

os

.

path

.

join

(

'6分'

,

str

(

new_beauty

)

+

'+'

+

list_path

))

elif

new_beauty

>=

5

:

os

.

rename

(

os

.

path

.

join

(

file_path

,

list_path

),

os

.

path

.

join

(

'5分'

,

str

(

new_beauty

)

+

'+'

+

list_path

))

else

:

os

.

rename

(

os

.

path

.

join

(

file_path

,

list_path

),

os

.

path

.

join

(

'其他分'

,

str

(

new_beauty

)

+

'+'

+

list_path

))

time

.

sleep

(

1

)

except

KeyError

:

pass

except

TypeError

:

pass