既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
# Open Google Image Search page
driver.get("https://www.google.com/imghp")
driver.get
方法用于打开指定的URL,这里我们打开了Google图像搜索页面。
from selenium.webdriver.common.by import By
# Locate the search box and enter the keyword
search_box = driver.find_element(By.NAME, "q")
search_box.send_keys(keyword)
search_box.send_keys(Keys.RETURN)
使用driver.find_elements
方法和CSS选择器定位到所有的图像元素。然后,我们使用os.makedirs
方法创建保存图像的目录。exist_ok=True
参数表示如果目录已经存在,不会引发异常。
# Download images
downloaded_images = set()
for i, image in enumerate(images[:num_images]):
try:
image_url = image.get_attribute("src")
image_hash = hashlib.sha256(image_url.encode('utf-8')).hexdigest()
# Check if image has been downloaded
if image_hash in downloaded_images:
print(f"Image {i+1} already downloaded, skipping...")
continue
# Check if image link is https
if not image_url.startswith('https://'):
print(f"Image {i+1} is not from a secure source, skipping...")
continue
image_path = os.path.join(save_dir, f"{keyword}\_{i}.jpg")
# Check if file already exists, if so, change filename
counter = 0
while os.path.exists(image_path):
counter += 1
image_path = os.path.join(save_dir, f"{keyword}\_{i}\_{counter}.jpg")
if image_url.startswith('data:image/jpeg;base64,') or image_url.startswith('data:image/gif;base64,'):
base64_data = image_url.split(',', 1)[1]
image_data = base64.b64decode(base64_data)
with open(image_path, 'wb') as f:
f.write(image_data)
else:
response = requests.get(image_url```
with open(image_path, "wb") as f:
f.write(response.content)
crawler_similar.py
def download\_images\_from\_url(url, num_images, save_dir):
# Create Chrome WebDriver instance
driver = webdriver.Chrome()
driver.implicitly_wait(5)
download_images_from_url
函数接受URL(url
)、图像数量(num_images
)和保存目录(save_dir
)作为参数。这个函数用于从给定的URL下载图像。在函数内部,我们创建了一个Chrome WebDriver实例,并使用implicitly_wait
方法设置了一个隐式等待时间,以确保页面加载完成。
try:
driver.get(url)
# Get all image elements
images = driver.find_elements(By.CSS_SELECTOR, "img")
# Create directory to save images
os.makedirs(save_dir, exist_ok=True)
使用driver.get
方法打开指定的URL。然后,使用driver.find_elements
方法和CSS选择器定位到页面上的所有图像元素。我们还使用os.makedirs
方法创建保存图像的目录。exist_ok=True
参数表示如果目录已经存在,不会引发异常。
# Download images
downloaded_images = set()
for i, image in enumerate(images[:num_images]):
try:
image_url = image.get_attribute("src")
if not image_url:
continue
image_hash = hashlib.sha256(image_url.encode('utf-8')).hexdigest()
# Check if image has been downloaded
if image_hash in downloaded_images:
print(f"Image {i+1} already downloaded, skipping...")
continue
image_save_path = os.path.join(save_dir, f"image\_{i}.jpg")
'''剩下的实现就跟crawler\_keyword.py差不多'''
遍历图像元素列表,并尝试下载每个图像。先获取图像的URL,并使用哈希函数计算URL的哈希值。如果图像的哈希值已经在downloaded_images
集合中,表示该图像已经下载过,就跳过它。然后根据索引和计数器生成图像的保存路径。如果文件已经存在,则增加计数器以避免文件名冲突。
DataAugment.py
def data\_augmentation(img, techniques):
img_list = []
if '1' in techniques:
# Flip
img_list.append(cv2.flip(img, 1)) # Horizontal flip
img_list.append(cv2.flip(img, 0)) # Vertical flip
img_list.append(cv2.flip(img, -1)) # Horizontal and vertical flip
data_augmentation
函数接受输入的图像和要应用的数据增强技术列表。根据技术列表中的编号,函数将应用不同的数据增强技术。在这种情况下,技术编号1表示翻转操作。通过使用cv2.flip
函数,图像将水平翻转、垂直翻转和水平垂直翻转,然后将增强后的图像添加到img_list
列表中。
if '2' in techniques:
# Rotate
scale = 1.0
rows, cols = img.shape[:2]
center = (cols / 2, rows / 2) # Image center
angle = [45, 315]
for a in angle:
M = cv2.getRotationMatrix2D(center, a, scale)
rotated = cv2.warpAffine(img, M, (cols, rows), borderValue=(255, 255, 255))
img_list.append(rotated)
技术编号2表示旋转操作。使用cv2.getRotationMatrix2D
函数获取旋转矩阵,然后使用cv2.warpAffine
函数将图像应用旋转变换,生成旋转后的图像。将增强后的图像添加到img_list
列表中。
if '3' in techniques:
# Noise
noise_img = img.copy()
for _ in range(1500):
noise_img[random.randint(0, noise_img.shape[0] - 1)][random.randint(0, noise_img.shape[1] - 1)][:] = 255
img_list.append(noise_img)
技术编号3表示添加噪声操作。首先复制原始图像,然后通过随机选择像素位置并将其设置为白色(255)来添加噪声。这里的噪声是通过在图像上随机选择位置并将其像素值设置为白色来模拟的。将增强后的图像添加到img_list
列表中。
if '4' in techniques:
# Gaussian blur
blur1 = cv2.GaussianBlur(img, (9, 9), 1.5)
blur2 = cv2.blur(img, (11, 11), (-1, -1))
img_list.append(blur1)
img_list.append(blur2)
技术编号4表示应用高斯模糊操作。通过cv2.GaussianBlur
函数和cv2.blur
函数应用不同的模糊核生成模糊后的图像。将增强后的图像添加到img_list
列表中。
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!