爬取baidu高清原图

参考了这位老哥的代码:
https://blog.csdn.net/m0_52521883/article/details/120232250

支持下载原图或缩略图,直接上代码,只是加了一个解密objURL的代码块

import os
import urllib.request
from urllib.parse import quote
import re
import urllib.error
import requests
import time

get_cookie_headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) "
                                  "Chrome/92.0.4515.159 Safari/537.36 "}
get_cookie_html = "https://www.baidu.com/"
get_cookie_target = requests.session()
cookie_target = get_cookie_target.get(get_cookie_html, headers=get_cookie_headers)
cookie = requests.utils.dict_from_cookiejar(cookie_target.cookies)
#print(cookie)

key = []
value = []
result_cookie = ""

for i in cookie.keys():
    key.append(i)

for i in cookie.values():
    value.append(i)

for i in range(len(key)):
    result_cookie += key[i] + '=' + value[i] + ";"

print(result_cookie)

myheaders = {
    "Cookie": result_cookie,
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) "
                  "Chrome/92.0.4515.159 Safari/537.36 "
}

print("提示:选择爬取原图保存在good_images下,小图保存在images下")
word = input("输入想要爬取的主题:")
quality = input("爬取原始图还是网页小图?(0=原始图,1=小图):")

if quality == '0':
    base_dir = "./good_images/"
    key  = r'objURL":"(.*?)"'
    pic_url = re.compile(key)
else:
    base_dir = "./images/"
    key = r'thumbURL":"(.*?)"'
    
pic_url = re.compile(key)  # 预编译
pic_dir = base_dir + word

if not os.path.exists(base_dir):
    os.mkdir(base_dir)
if not os.path.exists(pic_dir):
    os.mkdir(pic_dir)

keyword = quote(word, encoding='utf-8')

start_number = 0
base_url = "https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&queryWord=" + keyword + "&word=" + keyword + "&pn%d=&rn=60" % start_number

#解密用
str_table = { '_z2C$q': ':', '_z&e3B': '.','AzdH3F': '/'}
char_table = {
'w': 'a','k': 'b','v': 'c','1': 'd','j': 'e','u': 'f','2': 'g','i': 'h','t': 'i','3': 'j','h': 'k','s': 'l','4': 'm','g': 'n','5': 'o','r': 'p','q': 'q',
'6': 'r','f': 's','p': 't','7': 'u','e': 'v','o': 'w','8': '1','d': '2','n': '3','9': '4','c': '5','m': '6','0': '7','b': '8','l': '9','a': '0'}
char_table = {ord(key): ord(value) for key, value in char_table.items()}
def get_ori_url(i):
    for key, value in str_table.items():
            i = i.replace(key, value)
    return i.translate(char_table)

number = 1
while start_number < 1800:
    response = urllib.request.Request(base_url, headers=myheaders)
    result = urllib.request.urlopen(response).read().decode("utf-8")
    for i in re.findall(pic_url, result):
        i = i if quality!='0' else get_ori_url(i)
        print(str(number) + " : " + i)
        try:
            response = urllib.request.Request(i, headers=myheaders)
            pic_result = urllib.request.urlopen(response).read()
            with open(pic_dir + "/" + word + str(number) + ".jpg", "wb+") as f:
                f.write(pic_result)
            number += 1
            time.sleep(0.5)
        except urllib.error.URLError:
            print("下载失败")        
    start_number += 60

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Selenium是一个自动化测试工具,可以模拟用户对网页的操作,因此可以用来爬取百度文库的图片。在这个过程中,我们需要用到Python的Selenium库,以及ChromeDriver或者其他浏览器驱动来控制浏览器。 首先,我们需要打开百度文库的页面,并登录账号,如果不登录无法访问文库的图片。我们可以用Selenium模拟登录,输入账户名和密码,然后点击登录。在登录成功的情况下,我们就可以访问文库的内容。 接着,我们需要定位到文库页面中的所需要的图片。这一步可以通过XPath或CSS Selector等方式来实现。然后,我们可以用Selenium的find_element_by_xpath或者find_element_by_css_selector方法来定位图片,并获取图片的属性,比如图片的URL。通过获取URL,我们就可以将图片保存到本地或者上传到其他网站当中。 下面是一个比较简单的爬取百度文库图片的代码段: ```python from selenium import webdriver import urllib.request # 设置ChromeDriver路径 driver_path = 'C:\chromedriver_win32\chromedriver.exe' # 创建浏览器对象 browser = webdriver.Chrome(driver_path) # 打开百度文库登录界面 browser.get('https://wenku.baidu.com/') # 输入账户名和密码并点击登录 browser.find_element_by_id('loginUserName').send_keys('your_username') browser.find_element_by_id('loginPassword').send_keys('your_password') browser.find_element_by_link_text('登录').click() # 定位到图片 image = browser.find_element_by_xpath('//img[@class="doc-image"]') # 获取图片URL image_url = image.get_attribute('src') # 下载图片 urllib.request.urlretrieve(image_url, 'image.jpg') # 关闭浏览器 browser.quit() ``` 上面的代码中,我们首先设置了ChromeDriver的路径,然后打开浏览器并访问百度文库的登录页面。接着,输入账户名和密码,并点击登录按钮。在登录成功后,我们定位到文库页面中的图片,获取图片的URL并下载图片到本地。 总的来说,使用Selenium爬取百度文库图片比较简单,只需要模拟登录和定位图片等操作即可。不过需要注意的是,在爬取数据的过程中不要过于频繁,否则会被百度封禁。建议设置合理的时间间隔和获取数据数量,并且遵守网站的使用规定。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值