Auto-DataProcessing：一组让制作数据集变轻松的脚本，2024年最新大数据开发高级面试视频

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

此外，所有的参数（获取图片的数量，URL和数据增强的类型这些）都是执行之后在终端直接输入的，不用自己在代码里设定。以数据增强的脚本运行起来的终端为例：

我们只需要输入要处理文件的路径和选择数据增强的序号就行啦~

一些关键部分的实现

crawler_keyword.py

def google\_image\_scraper(keyword, num_images, save_dir):
    # Create Chrome WebDriver instance
    driver = webdriver.Chrome()
    driver.implicitly_wait(5)

google_image_scraper函数接受关键词（keyword）、图像数量（num_images）和保存目录（save_dir）作为参数。这个函数用于爬取和下载Google图像搜索结果。在函数内部，我们创建了一个Chrome WebDriver实例，并使用implicitly_wait方法设置了一个隐式等待时间，以确保页面加载完成。

    # Open Google Image Search page
    driver.get("https://www.google.com/imghp")

driver.get方法用于打开指定的URL，这里我们打开了Google图像搜索页面。

    from selenium.webdriver.common.by import By

    # Locate the search box and enter the keyword
    search_box = driver.find_element(By.NAME, "q")
    search_box.send_keys(keyword)
    search_box.send_keys(Keys.RETURN)

使用driver.find_elements方法和CSS选择器定位到所有的图像元素。然后，我们使用os.makedirs方法创建保存图像的目录。exist_ok=True参数表示如果目录已经存在，不会引发异常。

    # Download images
    downloaded_images = set()
    for i, image in enumerate(images[:num_images]):
        try:
            image_url = image.get_attribute("src")
            image_hash = hashlib.sha256(image_url.encode('utf-8')).hexdigest()
            # Check if image has been downloaded
            if image_hash in downloaded_images:
                print(f"Image {i+1} already downloaded, skipping...")
                continue
            # Check if image link is https
            if not image_url.startswith('https://'):
                print(f"Image {i+1} is not from a secure source, skipping...")
                continue
            image_path = os.path.join(save_dir, f"{keyword}\_{i}.jpg")
            # Check if file already exists, if so, change filename
            counter = 0
            while os.path.exists(image_path):
                counter += 1
                image_path = os.path.join(save_dir, f"{keyword}\_{i}\_{counter}.jpg")
            if image_url.startswith('data:image/jpeg;base64,') or image_url.startswith('data:image/gif;base64,'):
                base64_data = image_url.split(',', 1)[1]
                image_data = base64.b64decode(base64_data)
                with open(image_path, 'wb') as f:
                    f.write(image_data)
            else:
                response = requests.get(image_url```
                with open(image_path, "wb") as f:
                    f.write(response.content)

crawler_similar.py

def download\_images\_from\_url(url, num_images, save_dir):
    # Create Chrome WebDriver instance
    driver = webdriver.Chrome()
    driver.implicitly_wait(5)

download_images_from_url函数接受URL（url）、图像数量（num_images）和保存目录（save_dir）作为参数。这个函数用于从给定的URL下载图像。在函数内部，我们创建了一个Chrome WebDriver实例，并使用implicitly_wait方法设置了一个隐式等待时间，以确保页面加载完成。

    try:
        driver.get(url)
        # Get all image elements
        images = driver.find_elements(By.CSS_SELECTOR, "img")
        # Create directory to save images
        os.makedirs(save_dir, exist_ok=True)

使用driver.get方法打开指定的URL。然后，使用driver.find_elements方法和CSS选择器定位到页面上的所有图像元素。我们还使用os.makedirs方法创建保存图像的目录。exist_ok=True参数表示如果目录已经存在，不会引发异常。

        # Download images
        downloaded_images = set()
        for i, image in enumerate(images[:num_images]):
            try:
                image_url = image.get_attribute("src")
                if not image_url:
                    continue
                image_hash = hashlib.sha256(image_url.encode('utf-8')).hexdigest()
                # Check if image has been downloaded
                if image_hash in downloaded_images:
                    print(f"Image {i+1} already downloaded, skipping...")
                    continue

                image_save_path = os.path.join(save_dir, f"image\_{i}.jpg")
                
  '''剩下的实现就跟crawler\_keyword.py差不多'''

遍历图像元素列表，并尝试下载每个图像。先获取图像的URL，并使用哈希函数计算URL的哈希值。如果图像的哈希值已经在downloaded_images集合中，表示该图像已经下载过，就跳过它。然后根据索引和计数器生成图像的保存路径。如果文件已经存在，则增加计数器以避免文件名冲突。

DataAugment.py

def data\_augmentation(img, techniques):
    img_list = []
    
    if '1' in techniques:
        # Flip
        img_list.append(cv2.flip(img, 1))  # Horizontal flip
        img_list.append(cv2.flip(img, 0))  # Vertical flip
        img_list.append(cv2.flip(img, -1)) # Horizontal and vertical flip

data_augmentation函数接受输入的图像和要应用的数据增强技术列表。根据技术列表中的编号，函数将应用不同的数据增强技术。在这种情况下，技术编号1表示翻转操作。通过使用cv2.flip函数，图像将水平翻转、垂直翻转和水平垂直翻转，然后将增强后的图像添加到img_list列表中。

    if '2' in techniques:
        # Rotate
        scale = 1.0
        rows, cols = img.shape[:2]
        center = (cols / 2, rows / 2)  # Image center
        angle = [45, 315]
        for a in angle:
            M = cv2.getRotationMatrix2D(center, a, scale)
            rotated = cv2.warpAffine(img, M, (cols, rows), borderValue=(255, 255, 255))
            img_list.append(rotated)

技术编号2表示旋转操作。使用cv2.getRotationMatrix2D函数获取旋转矩阵，然后使用cv2.warpAffine函数将图像应用旋转变换，生成旋转后的图像。将增强后的图像添加到img_list列表中。

    if '3' in techniques:
        # Noise
        noise_img = img.copy()


**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）**
![img](https://img-blog.csdnimg.cn/img_convert/d065e7d747b7644d353ae3bf76070fd7.png)

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

的技术提升。**

**需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）**
[外链图片转存中...(img-WdXQOM3h-1713696138434)]

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**