Python将文件大小以概率分布图的方式进行统计

最新推荐文章于 2024-08-01 19:02:30 发布

王小鹏鹏

最新推荐文章于 2024-08-01 19:02:30 发布

阅读量1.7k

点赞数

分类专栏： Python

本文链接：https://blog.csdn.net/kingroc/article/details/90296804

版权

在计算机项目中，使用Python分析爬取的图片文件大小，筛选出小于512K的图片并展示其概率分布，以识别不可用的小图片。

摘要由CSDN通过智能技术生成

《深度学习-如何提高数据集质量》

项目背景

我是在做计算机项目的时候会遇到这种问题，当使用爬虫爬取大量图片后，图片大小参差不齐，有些图片明显是不可使用的，比如很小的图片就很可疑（在机器学习的时候可能无法使用），而你又不知道小图片在你的存贮空间中的占比，这就需要Python的概率分布图来标识了。

代码功能

1.用户手动输入图片的路径。这个路径是已经整理过的了，全部都是图片。
2.将小于512K的图片筛选出来。
3.显示小于512K的图片概率分布。

代码内容

import matplotlib.pyplot as plt
import os


def getFileSizeList(path):
    sizeList = []
    for filename in os.listdir(path):
        fullName = os.path.join(path, filename)
        size = os.path.getsize(fullName)
        #只把小于512K的图片放入队列
        if size // 1024 < 512:
            sizeList.append(size)
    return sizeList

x = getFileSizeList('/home/king/PycharmProjects/nsfw_data_scrapper/raw_data/sexy')

fig,(ax0,ax1) = plt.subplots(nrows=2,figsize=(9,6))

#第二个参数是柱子宽一些还