既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
但是准备几千张数据来组成数据集实在是有点烦人…于是我写了一组脚本,能够自动化的实现从数据获取到数据增强,然后批量重命名的脚本,希望能给同样需要处理大量数据的小伙伴剩下一点时间。
Github仓库地址:
> https://github.com/zin-Fu/Automation-Data-Processing
p.s.如果觉得对你有帮助欢迎给我点个👀watch或者star⭐吖!
关于Auto-DataProcessing
这组脚本的主要功能如下:
-
🚀数据收集:
crawler_keyword.py
: 根据指定的关键词从谷歌图像搜索下载图片。crawler_similar.py
: 从给定的 URL 获取图像(我是用来搜相似图的时候用的),可以从特定网站或来源收集数据。
-
🚀数据增强:
DataAugment.py
: 通过应用翻转、旋转、添加噪声、高斯模糊、调整亮度对比度等多种数据增强技术,扩充和优化我们的数据集。创建多样化和鲁棒的训练数据。
3.🚀 数据管理:
rename.py
: 重命名目录中所有图像文件,添加指定的前缀和连续编号,确保文件结构的一致。
此外,所有的参数(获取图片的数量,URL和数据增强的类型这些)都是执行之后在终端直接输入的,不用自己在代码里设定。以数据增强的脚本运行起来的终端为例:
我们只需要输入要处理文件的路径和选择数据增强的序号就行啦~
一些关键部分的实现
crawler_keyword.py
def google\_image\_scraper(keyword, num_images, save_dir):
# Create Chrome WebDriver instance
driver = webdriver.Chrome()
driver.implicitly_wait(5)
google_image_scraper
函数接受关键词(keyword
)、图像数量(num_images
)和保存目录(save_dir
)作为参数。这个函数用于爬取和下载Google图像搜索结果。在函数内部,我们创建了一个Chrome WebDriver实例,并使用implicitly_wait
方法设置了一个隐式等待时间,以确保页面加载完成。
# Open Google Image Search page
driver.get("https://www.google.com/imghp")
driver.get
方法用于打开指定的URL,这里我们打开了Google图像搜索页面。
from selenium.webdriver.common.by import By
# Locate the search box and enter the keyword
search_box = driver.find_element(By.NAME, "q")
search_box.send_keys(keyword)
search_box.send_keys(Keys.RETURN)
使用driver.find_elements
方法和CSS选择器定位到所有的图像元素。然后,我们使用os.makedirs
方法创建保存图像的目录。exist_ok=True
参数表示如果目录已经存在,不会引发异常。
# Download images
downloaded_images = set()
for i, image in enumerate(images[:num_images]):
try:
image_url = image.get_attribute("src")
image_hash = hashlib.sha256(image_url.encode('utf-8')).hexdigest()
# Check if image has been downloaded
if image_hash in downloaded_images:
print(f"Image {i+1} already downloaded, skipping...")
continue
# Check if image link is https
if not image_url.startswith('https://'):
print(f"Image {i+1} is not from a secure source, skipping...")
continue
image_path = os.path.join(save_dir, f"{keyword}\_{i}.jpg")
# Check if file already exists, if so, change filename
counter = 0
while os.path.exists(image_path):
counter += 1
image_path = os.path.join(save_dir, f"{keyword}\_{i}\_{counter}.jpg")
if image_url.startswith('data:image/jpeg;base64,') or image_url.startswith('data:image/gif;base64,'):
base64_data = image_url.split(',', 1)[1]
image_data = base64.b64decode(base64_data)
with open(image_path, 'wb') as f:
f.write(image_data)
else:
response = requests.get(image_url```
with open(image_path, "wb") as f:
f.write(response.content)
crawler_similar.py
def download\_images\_from\_url(url, num_images, save_dir):
# Create Chrome WebDriver instance
driver = webdriver.Chrome()
driver.implicitly_wait(5)
download_images_from_url
函数接受URL(url
)、图像数量(num_images
)和保存目录(save_dir
)作为参数。这个函数用于从给定的URL下载图像。在函数内部,我们创建了一个Chrome WebDriver实例,并使用implicitly_wait
方法设置了一个隐式等待时间,以确保页面加载完成。
try:
driver.get(url)
# Get all image elements
images = driver.find_elements(By.CSS_SELECTOR, "img")
# Create directory to save images
os.makedirs(save_dir, exist_ok=True)
使用driver.get
方法打开指定的URL。然后,使用driver.find_elements
方法和CSS选择器定位到页面上的所有图像元素。我们还使用os.makedirs
方法创建保存图像的目录。exist_ok=True
参数表示如果目录已经存在,不会引发异常。
# Download images
downloaded_images = set()
for i, image in enumerate(images[:num_images]):
try:
image_url = image.get_attribute("src")
if not image_url:
continue
image_hash = hashlib.sha256(image_url.encode('utf-8')).hexdigest()
# Check if image has been downloaded
if image_hash in downloaded_images:
print(f"Image {i+1} already downloaded, skipping...")
continue
image_save_path = os.path.join(save_dir, f"image\_{i}.jpg")
'''剩下的实现就跟crawler\_keyword.py差不多'''
遍历图像元素列表,并尝试下载每个图像。先获取图像的URL,并使用哈希函数计算URL的哈希值。如果图像的哈希值已经在downloaded_images
集合中,表示该图像已经下载过,就跳过它。然后根据索引和计数器生成图像的保存路径。如果文件已经存在,则增加计数器以避免文件名冲突。
DataAugment.py
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!