- win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
- 在pycharm中点击Terminal(终端) 输入安装命令
- 安装失败原因:
- 失败一: pip 不是内部命令
解决方法: 设置环境变量
- 失败二: 出现大量报红 (read time out)
解决方法: 因为是网络链接超时, 需要切换镜像源
清华:https://pypi.tuna.tsinghua.edu.cn/simple
阿里云:http://mirrors.aliyun.com/pypi/simple/
中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/
华中理工大学:http://pypi.hustunique.com/
山东理工大学:http://pypi.sdutlinux.org/
豆瓣:http://pypi.douban.com/simple/
例如:pip3 install -i https://pypi.doubanio.com/simple/ 模块名 - 失败三: cmd里面显示已经安装过了, 或者安装成功了, 但是在pycharm里面还是无法导入
解决方法: 可能安装了多个python版本 (anaconda 或者 python 安装一个即可) 卸载一个就好
或者你pycharm里面python解释器没有设置好
实现步骤
一. 数据来源分析
女盆友们照片, 照片url地址 可以从哪里获取
通过网页上面开发者工具进行抓包分析
二. 代码实现步骤 发送请求 >>> 获取数据 >>> 解析数据 >>> 保存数据
- 发送请求, 对于 https://www.**牙.com/g/2168 发送请求 列表页面
- 获取数据, 获取服务器返回的响应数据 response
- 解析数据, 提取我们想要数据内容 主播名字 主播封面图url地址
- json数据 可以直接处理
- re正则表达式提取
- 根据标签节点/属性提取内容:
- xpath
- css选择器
- 保存数据, 图片内容保存到本地文件夹
三.颜值检测
对于我们保存下来照片, 进行颜值检测评分
代码实现
# 导入数据请求
import requests # pip install requests (导入模块没有使用是灰色)
# 导入格式化输出模块
import pprint
# 导入os文件操作模块
import os
import base64
from tqdm import tqdm
# 发送请求
# 确定请求的url地址
for page in range(1, 11):
url = f'https://www.\*\*.com/cache.php?m=LiveList&do=getLiveListByPage&gameId=2168&tagAll=0&page={page}'
# headers 请求头 伪装Python的代码 不被识别出来是爬虫程序...
# headers 是一个字典数据类型
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36'
}
# 通过requests模块去对url地址发送请求
response = requests.get(url=url, headers=headers)
data_list = response.json()['data']['datas']
for index in data_list:
# pprint.pprint(index)
name = index['nick']
img_url = index['screenshot']
# 4. 保存数据 保存图片数据内容, 也需要发送请求 获取数据
# response.text 获取响应体文本数据
# response.json() 获取响应体的json字典数据
# response.content 获取响应体的二进制数据
img_content = requests.get(url=img_url, headers=headers).content
# 'img\\' 文件路径 name 文件名字 '.jpg' 文件后缀 >>> 文件名
# mode 保存方式 wb 二进制模式写入
# as 重命名 为 f
filename = 'img\_1\\'
if not os.path.exists(filename):
os.mkdir(filename)
with open(filename + name + '.jpg', mode='wb') as f:
f.write(img_content) # 写入数据
print('正在保存: ', name)
def get\_beauty(img_base64):
host = 'https://aip.baidubce.com/oauth/2.0/token'
data = {
'grant\_type': 'client\_credentials',
'client\_secret': 'ouZMTMuCGLi7pbeg734ftNxn9h3qN7R4'
}
response = requests.get(url=host, params=data)
token = response.json()['access\_token']
# print(token)
'''
人脸检测与属性分析
'''
request_url = f"https://aip.baidubce.com/rest/2.0/face/v3/detect?access\_token={token}"
params = {
"image": img_base64,
"image\_type": "BASE64",
"face\_field": "beauty"
}
headers = {'content-type': 'application/json'}
response = requests.post(request_url, data=params, headers=headers)
try:
beauty = response.json()['result']['face\_list'][0]['beauty']
return beauty
except:
return '识别失败'
# 1. 获取所有图片
lis = []
files = os.listdir('img\_1\\')
print('正在识别人脸, 颜值检测中, 请稍后.....')
for file in tqdm(files):
img_file = 'img\_1\\' + file
img_name = file.split('.')[0]
# print(img\_file)
f = open(img_file, mode='rb') # 读取一张图片内容
img_base64 = base64.b64encode(f.read())
beauty = get_beauty(img_base64)
if beauty != '识别失败':
dit = {
做了那么多年开发,自学了很多门编程语言,我很明白学习资源对于学一门新语言的重要性,这些年也收藏了不少的Python干货,对我来说这些东西确实已经用不到了,但对于准备自学Python的人来说,或许它就是一个宝藏,可以给你省去很多的时间和精力。
别在网上瞎学了,我最近也做了一些资源的更新,只要你是我的粉丝,这期福利你都可拿走。
我先来介绍一下这些东西怎么用,文末抱走。
* * *
**(1)Python所有方向的学习路线(新版)**
这是我花了几天的时间去把Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
最近我才对这些路线做了一下新的更新,知识体系更全面了。

**(2)Python学习视频**
包含了Python入门、爬虫、数据分析和web开发的学习视频,总共100多个,虽然没有那么全面,但是对于入门来说是没问题的,学完这些之后,你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

**(3)100多个练手项目**
我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了,只是里面的项目比较多,水平也是参差不齐,大家可以挑自己能做的项目去练练。

**(4)200多本电子书**
这些年我也收藏了很多电子书,大概200多本,有时候带实体书不方便的话,我就会去打开电子书看看,书籍可不一定比视频教程差,尤其是权威的技术书籍。
基本上主流的和经典的都有,这里我就不放图了,版权问题,个人看看是没有问题的。
**(5)Python知识点汇总**
知识点汇总有点像学习路线,但与学习路线不同的点就在于,知识点汇总更为细致,里面包含了对具体知识点的简单说明,而我们的学习路线则更为抽象和简单,只是为了方便大家只是某个领域你应该学习哪些技术栈。

**(6)其他资料**
还有其他的一些东西,比如说我自己出的Python入门图文类教程,没有电脑的时候用手机也可以学习知识,学会了理论之后再去敲代码实践验证,还有Python中文版的库资料、MySQL和HTML标签大全等等,这些都是可以送给粉丝们的东西。

**这些都不是什么非常值钱的东西,但对于没有资源或者资源不是很好的学习者来说确实很不错,你要是用得到的话都可以直接抱走,关注过我的人都知道,这些都是可以拿到的。**
**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**
**[需要这份系统化学习资料的朋友,可以戳这里无偿获取](https://bbs.csdn.net/topics/618317507)**
**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**