Python爬取豆瓣Top250

最新推荐文章于 2024-08-01 14:57:53 发布

现代搬砖人

最新推荐文章于 2024-08-01 14:57:53 发布

阅读量269

点赞数 1

文章标签： python

本文链接：https://blog.csdn.net/qq_44921671/article/details/109051382

版权

Python爬取豆瓣Top250

直接上代码！

本人还是一个小萌新，所以有些代码还是存在些问题，比如下载后的图片的格式不是.jpg等等
期待大佬可以指点一下
代码基本都有注释，所以还是很好理解的！

from selenium import webdriver
import requests
import time 
import os


url = 'https://movie.douban.com/top250'
driver = webdriver.Chrome('C:\chromedriver_win32\chromedriver.exe')
driver.get(url)
file1 = open(r"C:\Users\18321\Desktop\2020Python\DouBanTop250Name.txt","w")
path=r'C:\Users\18321\Desktop\2020Python'
#保存图片的文件夹名称及路径
dir_name = './DouBanTop250Picture'
#os包创建一个文件夹
if not os.path.exists(dir_name):
    os.mkdir(path+dir_name)
#通过for循环网页，保存所以的信息
for x in range(10):
    #找到图片名字保存信息的位置，通过xpath保存
    lis = driver.find_elements_by_xpath('//ol[@class="grid_view"]/li')
    #所以的信息都保存到了xpath，在用循环去找里面的信息
    for li in lis:
        #名称保存在一个属性为title的span盒子里
        span = li.find_elements_by_xpath('.//span[@class="title"]')[0]
        #转换为文本信息
        title = span.text
        print(title)
        #将名称保存的指定的txt文档中再换行
        file1.write(title+'\r\n')
        file1.close
        #图片链接保存在了一个属性为pic的div内
        img = li.find_element_by_xpath('.//div[@class="pic"]//img')
        src = img.get_attribute('src')
#        print(src)
        picture_name = src.split('/')[-1] 
        reponse = requests.get(src)
        #通过os和with open 将图片保存到一个文件夹内
        with open(dir_name+'/'+picture_name,'wb') as f:
            f.write(reponse.content)
    #模拟鼠标点击，进入下一页
    next = driver.find_elements_by_xpath('//span[@class="next"]/a')
    if len(next)>0:
        next[0].click()
    #等待下一页加载完成，休眠时间为1s
    time.sleep(1)
driver.quit()