最简单的python爬虫

最新推荐文章于 2023-02-16 10:35:56 发布

dayan7727

最新推荐文章于 2023-02-16 10:35:56 发布

阅读量101

点赞数

文章标签：爬虫 python

原文链接：http://www.cnblogs.com/hjc4025/p/8329921.html

版权

本博客介绍了一个简单的Python爬虫应用，用于抓取豆瓣电影Top250的网页，并将每部电影的名字、评分及链接保存到Excel文件中。通过requests库获取网页内容，使用pyquery进行数据解析，最后利用openpyxl将数据写入Excel。

摘要由CSDN通过智能技术生成

没有任何参考价值，仅供个人记录

最最简单的python爬虫，爬取豆瓣的网页并将电影的网页链接和电影名字保存在excel中

import requests
from pyquery import PyQuery as pq
from openpyxl import load_workbook

def insert_excel(excel,title,rating,link,rows):
    sheet = excel.active
    sheet.cell(row=rows,column=1).value = title
    sheet.cell(row=rows, column=2).value = rating
    sheet.cell(row=rows, column=3).value = link

def getDoubanMovie():
    excel = load_workbook('test.xlsx')
    rows = 1
    for page in range(0,250,25):
        urls = 'https://movie.douban.com/top250?start=%d&filter='%(page)
        content = requests.get(urls).content
        for movie in pq(content).find('.item'):
            title = pq(movie).find('.title').html()
            rating = pq(movie).find('.rating_num').text()
            link = pq(movie).find('a').attr('href')
            print(title,rating,link,sep='\t\t')
            insert_excel(excel,title,rating,link,rows)
            rows = rows + 1
    excel.save('test.xlsx')

if __name__ == '__main__':
    getDoubanMovie()

转载于:https://www.cnblogs.com/hjc4025/p/8329921.html