(爬虫一)简单的爬虫

# 1.爬取美女的照片，相信大家都是喜欢的，嘿嘿！接下来咱们就开始操作

首先选取一个没有反爬虫机制的网站试试，没有反爬虫机制的网站爬取比较的简单。这里就选“我主良缘”。

1 .首先登陆网站即可，然后选择想要爬取的图片。右击->检查->Network，然后我们再点一下搜缘分，发现多了下面这条东西：

我们看一下和这个头部文件里面有什么：

然后发现这个api里面的就是我们所要的美女图片

2.然后就是代码部分

# _* coding: utf-8 _*_
# _author_:zeng
#2020/8/20_11:16

import requests		#导入request包
import unittest  #导入测试模块
dir = 'E:/img/'	#用来存储图片的文件夹路径
#图片的url链接
url = 'http://www.7799520.com/api/user/pc/list/search?startage=21&endage=30&gender=2&startheight=151&endheight=160&marry=1&salary=3&page='
#用循环，爬取50页的美女
for i in range(50):
	#其返回值为json数据，直接获取其json字典
    jsonData = requests.get(url + str(i+1)).json()
    #通过jsonData['data']['list']获取美女列表
    for j in jsonData['data']['list']:
    	#其中j['avatar']为图片网址
        imgUrl = j['avatar']
        #发送网络请求
        resp = requests.get(imgUrl)
        #创建图片文件，并将流写入图片
        img = open(dir + j['username'] + '.jpg', 'wb')
        #写入内容
        img.write(resp.content)

if __name__ == '__main__':
    unittest.main()

3.最后大工告成，就可以去目录下看美女了