爬虫是一个模拟人类请求网站行为的程序。可以自动请求网页、并数据抓取下来,然后使用一定的规则提取有价值的数据。
1.爬取照片的目标网址是:http://www.netbian.com/mei/index.htm
可以通过F12检查元素,之后用小箭头点击图片,找到我们需要爬取图片的位置。
2.向网站发送请求
利用 requests 库向网站发出请求,发送 get 请求就是通过 requests.get 来调用:
respone = requests.get("http://www.netbian.com/mei/index.htmt")
3.数据提取
添加headers和查询参数:如果想添加 headers,可以传入headers参数来增加请求头中的headers信息.
在数据返回 Response
对象之后,通过respone.encoding = "gbk"设置了数据编码,该值可以从网页源码中获取到。
4.数据存储
利用write的读写功能,进行照片的存入。
f.write(content)
最终结果:
# -*- codeing = utf-8 -*-
# @Time : 2021/11/20 1:29
# @Author : ning
# @File : demo.main.py
# @software : PyCharm
import requests
import re #通过 re 模块解析,获取数据,利用正则表达式,进行文字匹配。
import time
import os
# 模拟人向网站发送请求
def request_get(url, ret_type="text", timeout=5, encoding="gbk"):
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36"
}
respone = requests.get(url=url, headers=headers, timeout=timeout)
respone.encoding = encoding
if ret_type == "text":
return respone.text
elif ret_type == "image":
return respone.content
# 获取网站地址的数据
def main():
urls = [f"http://www.netbian.com/mei/index_{i}.htm" for i in range(1, 2)]
url = "http://www.netbian.com/mei/index.htm"
urls.insert(0, url)
for url in urls:
print("抓取图片的地址为:", url)
text = request_get(url)
format(text)
# re模块解析函数
def format(text):
origin_text = split_str(text, '<div class="list">', '<div class="page">')
pattern = re.compile('href="(.*?)"')
hrefs = pattern.findall(origin_text)
hrefs = [i for i in hrefs if i.find("desk") > 0]
for href in hrefs:
url = f"http://www.netbian.com{href}"
print(f"图片正在下载:{url}")
text = request_get(url)
format_detail(text)
def split_str(text, s_html, e_html):
start = text.find(s_html) + len(e_html)
end = text.find(e_html)
origin_text = text[start:end]
return origin_text
def format_detail(text):
origin_text = split_str(text, '<div class="pic">', '<div class="pic-down">')
pattern = re.compile('src="(.*?)"')
image_src = pattern.search(origin_text).group(1)
# 保存图片
save_image(image_src)
# 将图片下载并存储
def save_image(image_src):
content = request_get(image_src, "image") # request_get()方法获取图片
with open(f"{str(time.time())}.jpg", mode="wb") as f:
f.write(content) #f.write 存储图片
print('图片下载成功!!!')
#调用主程序
if __name__ == "__main__":
main()