暴走gif的爬取小项目

今天做了暴走gif的爬取小项目@TOC
随着数据的增多下一不考虑增加数据库
但今天的项目代码还带进一步优化,不管怎样,每天一斤奶,强壮中国人。

python爬虫

import requests as re
from bs4 import BeautifulSoup as Btf
from PIL import Image
import pandas as pd
import re as r
import matplotlib.pyplot as plt
import time
def saveImage(urls,i):
    j = 0
    for url in urls:
        print("正在保存第{}个".format(j))
        pic = re.get(url,timeout=10)
        time.sleep(1)
        file_full_name = 'C:/Users/41318/Pictures/相册/'+ str(i) + '-' + str(j) +'.jpg'
        with open(file_full_name,'wb') as f:
            f.write(pic.content)
        j+=1
def imgPrin():
    img = Image.open(r'C:/Users/41318/Pictures/相册/DSC_4024.jpg')
    print(img.size,img.format)
    Image.open(r'C:/Users/41318/Pictures/相册/DSC_4024.jpg').save(r'C:/Users/41318/Pictures/相册/img2.jpg')
    img2 = Image.open(r'C:/Users/41318/Pictures/相册/img2.jpg')
    size = (288,180)
    img2.thumbnail(size)
    out = img2.rotate(45)
    img.paste(out,(50,50))
#img.show()
def imgDowload(url):
    data = re.get(url)
    baozouimg = Btf(data.text,'lxml')
    baozouimg = baozouimg.findAll('img',class_="waitpic")
    baozouimg = str(baozouimg)
    pattern = r.compile('data-original="(.*?)"')
    #imgData = pd.DataFrame(baozouimg)
    pattern2 = r.compile("src=(.*?)'")
    baozouimgR = pattern.findall(baozouimg)
    baozouimgR = str(baozouimgR)
    baozouImg =pattern2.findall(baozouimgR)
    return baozouImg
    data = pd.DataFrame(baozouImg)
    print(data)
for i in range(2,22):
    url = 'https://baozougif.com/page_'+ str(i) +'.html'
    imgPage = imgDowload(url)
    saveImage(imgPage,i)
    time.sleep(5)

##优化
通过连接数据库后,存储效率大大增加
代码如下:


  • 5
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值