Python爬虫入门实例：Python7个爬虫小案例（附源码）

于 2024-08-01 10:56:05 发布
阅读量1.7k 收藏 22
点赞数 24
分类专栏： Python 文章标签： python 爬虫 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_62283350/article/details/140840672
版权

在这里插入图片描述

文末赠免费精品编程资料~~

随着互联网的快速发展，数据成为了新时代的石油。Python作为一种高效、易学的编程语言，在数据采集领域有着广泛的应用。本文将详细讲解Python爬虫的原理、常用库以及实战案例，帮助读者掌握爬虫技能。

目录

一、爬虫原理

爬虫，又称网络爬虫，是一种自动获取网页内容的程序。它模拟人类浏览网页的行为，发送HTTP请求，获取网页源代码，再通过解析、提取等技术手段，获取所需数据。

1. HTTP请求与响应过程

爬虫首先向目标网站发送HTTP请求，请求可以包含多种参数，如URL、请求方法（GET或POST）、请求头（Headers）等。服务器接收到请求后，返回相应的HTTP响应，包括状态码、响应头和响应体（网页内容）。

2. 常用爬虫技术

（1）请求库：如requests、aiohttp等，用于发送HTTP请求。
（2）解析库：如BeautifulSoup、lxml、PyQuery等，用于解析网页内容。
（3）存储库：如pandas、SQLite等，用于存储爬取到的数据。
（4）异步库：如asyncio、aiohttp等，用于实现异步爬虫，提高爬取效率。

CSDN大礼包：《2024年Python全套学习资料包》免费分享（安全链接）

二、Python爬虫常用库

1. 请求库

（1）requests：简洁、强大的HTTP库，支持HTTP连接保持和连接池，支持SSL证书验证、Cookies等。
（2）aiohttp：基于asyncio的异步HTTP网络库，适用于需要高并发的爬虫场景。

2. 解析库

（1）BeautifulSoup：一个HTML和XML的解析库，简单易用，支持多种解析器。
（2）lxml：一个高效的XML和HTML解析库，支持XPath和CSS选择器。
（3）PyQuery：一个Python版的jQuery，语法与jQuery类似，易于上手。

3. 存储库

（1）pandas：一个强大的数据分析库，提供数据结构和数据分析工具，支持多种文件格式。
（2）SQLite：一个轻量级的数据库，支持SQL查询，适用于小型爬虫项目。

接下来将分享7个Python爬虫的小案例，帮助大家更好地学习和了解Python爬虫的基础知识。以下是每个案例的简介和源代码：

1. 爬取豆瓣电影Top250

这个案例使用BeautifulSoup库爬取豆瓣电影Top250的电影名称、评分和评价人数等信息，并将这些信息保存到CSV文件中。

import requests   
from bs4 import BeautifulSoup   
import csv     
 
 # 请求URL   
 url = '<https://movie.douban.com/top250>'   
 # 请求头部   
 headers = {       'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'   }      
 # 解析页面函数  
  def parse_html(html): 
        soup = BeautifulSoup(html, 'lxml') 
        movie_list = soup.find('ol', class_='grid_view').find_all('li')      
         for movie in movie_list:           
         title = movie.find('div', class_='hd').find('span', class_='title').get_text()           
         rating_num = movie.find('div', class_='star').find('span', class_='rating_num').get_text()           
         comment_num = movie.find('div', class_='star').find_all('span')[-1].get_text()          
          writer.writerow([title, rating_num, comment_num])      
          
 # 保存数据函数   
 def save_data():      
     f = open('douban_movie_top250.csv', 'a', newline='', encoding='utf-8-sig')       
     global writer      
     writer = csv.writer(f)       
     writer.writerow(['电影名称', '评分', '评价人数'])       
     for i in range(10):           
     url = '<https://movie.douban.com/top250?start=>' + str(i*25) + '&filter='           
     response = requests.get(url, headers=headers)          
     parse_html(response.text)       
     f.close()    
      
if __name__ == '__main__':      
   save_data()         `

2. 爬取猫眼电影Top100

这个案例使用正则表达式和requests库爬取猫眼电影Top100的电影名称、主演和上映时间等信息，并将这些信息保存到TXT文件中。

import requests   
import re      
# 请求URL   
url = '<https://maoyan.com/board/4>'  
 # 请求头部  
headers = {       
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'   
  }      
# 解析页面函数   
def parse_html(html):       
  pattern = re.compile('<p class="name"><a href=".*?" title="(.*?)" data-act="boarditem-click" data-val="{movieId:\\\\d+}">(.*?)</a></p>.*?<p class="star">(.*?)</p>.*?<p class="releasetime">(.*?)</p>', re.S)       
  items = re.findall(pattern, html)       
  for item in items:           
      yield {              
           '电影名称': item[1],              
           '主演': item[2].strip(),              
           '上映时间': item[3]           }     
# 保存数据函数   
def save_data():       
    f = open('maoyan_top100.txt', 'w', encoding='utf-8')      
    for i in range(10):          
        url = '<https://maoyan.com/board/4?offset=>' + str(i*10)          
        response = requests.get(url, headers=headers)           
        for item in parse_html(response.text):               
            f.write(str(item) + '\\\\n')      
        f.close()
             
if __name__ == '__main__':      
   save_data()

3. 爬取全国高校名单

这个案例使用正则表达式和requests库爬取全国高校名单，并将这些信息保存到TXT文件中。

import requests   
import re     
 
 # 请求URL   
 url = '<http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html>'   
 # 请求头部  
  headers = {      
   'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'  
    }     
# 解析页面函数   
def parse_html(html):       
    pattern = re.compile('<tr class="alt">.*?<td>(.*?)</td>.*?<td><div align="left">.*?<a href="(.*?)" target="_blank">(.*?)</a></div></td>.*?<td>(.*?)</td>.*?<td>(.*?)</td>.*?</tr>', re.S)       
     items = re.findall(pattern, html)       
     for item in items:           
     yield {      
           '排名': item[0],            
           '学校名称': item[2],               
           '省市': item[3],               
           '总分': item[4]           
           }      
# 保存数据函数  
def save_data():      
   f = open('university_top100.txt', 'w', encoding='utf-8')      
   response = requests.get(url, headers=headers)      
   for item in parse_html(response.text):          
   f.write(str(item) + '\\\\n')       
   f.close()  
      
if __name__ == '__main__':      
   save_data()

4. 爬取中国天气网城市天气

这个案例使用xpath和requests库爬取中国天气网的城市天气，并将这些信息保存到CSV文件中。

import requests
from lxml import etree   
import csv      
# 请求URL   
url = '<http://www.weather.com.cn/weather1d/101010100.shtml>'   
# 请求头部   
headers = {       
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'   
}      

# 解析页面函数   
def parse_html(html):       
    selector = etree.HTML(html)       
    city = selector.xpath('//*[@id="around"]/div/div[1]/div[1]/h1/text()')[0]       
    temperature = selector.xpath('//*[@id="around"]/div/div[1]/div[1]/p/i/text()')[0]      
    weather = selector.xpath('//*[@id="around"]/div/div[1]/div[1]/p/@title')[0]       
    wind = selector.xpath('//*[@id="around"]/div/div[1]/div[1]/p/span/text()')[0]       
    return city, temperature, weather, wind      
# 保存数据函数   
def save_data():       
    f = open('beijing_weather.csv', 'w', newline='', encoding='utf-8-sig')      
    writer = csv.writer(f)       
    writer.writerow(['城市', '温度', '天气', '风力'])       
    for i in range(10):           
        response = requests.get(url, headers=headers)           
        city, temperature, weather, wind = parse_html(response.text)           
        writer.writerow([city, temperature, weather, wind])       
        f.close()      

if __name__ == '__main__':       
    save_data()

5. 爬取当当网图书信息

这个案例使用xpath和requests库爬取当当网图书信息，并将这些信息保存到CSV文件中。

import requests   
from lxml import etree   
import csv      
# 请求URL   
url = '<http://search.dangdang.com/?key=Python&act=input>'   
# 请求头部   
headers = {      
     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'   
 }      
# 解析页面函数   
def parse_html(html):       
    selector = etree.HTML(html)       
    book_list = selector.xpath('//*[@id="search_nature_rg"]/ul/li')       
    for book in book_list:           
        title = book.xpath('a/@title')[0]           
        link = book.xpath('a/@href')[0]           
        price = book.xpath('p[@class="price"]/span[@class="search_now_price"]/text()')[0]           
        author = book.xpath('p[@class="search_book_author"]/span[1]/a/@title')[0]           
        publish_date = book.xpath('p[@class="search_book_author"]/span[2]/text()')[0]           
        publisher = book.xpath('p[@class="search_book_author"]/span[3]/a/@title')[0]           
        yield {               
            '书名': title,               
            '链接': link,               
            '价格': price,               
            '作者': author,               
            '出版日期': publish_date,               
            '出版社': publisher          
       }      
   
 # 保存数据函数   
 def save_data():       
     f = open('dangdang_books.csv', 'w', newline='', encoding='utf-8-sig')       
     writer = csv.writer(f)      
     writer.writerow(['书名', '链接', '价格', '作者', '出版日期', '出版社'])       
     response = requests.get(url, headers=headers)       
     for item in parse_html(response.text):          
         writer.writerow(item.values())       
     f.close()      

if __name__ == '__main__':       
    save_data()

6. 爬取糗事百科段子

这个案例使用xpath和requests库爬取糗事百科的段子，并将这些信息保存到TXT文件中。

import requests   
from lxml import etree     
 # 请求URL   
 url = '<https://www.qiushibaike.com/text/>'   
 # 请求头部   
 headers = {       
     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'   
 }      
# 解析页面函数   
def parse_html(html):       
      selector = etree.HTML(html)       
      content_list = selector.xpath('//div[@class="content"]/span/text()')       
     for content in content_list:           
     yield content     
# 保存数据函数   
 def save_data(): 
       f = open('qiushibaike_jokes.txt', 'w', encoding='utf-8')
       for i in range(3):      
       url = '<https://www.qiushibaike.com/text/page/>' + str(i+1) + '/'      
       response = requests.get(url, headers=headers)      
       for content in parse_html(response.text):           
       f.write(content + '\\\\n')       
         f.close()      
if __name__ == '__main__':       
       save_data()

7. 爬取新浪微博

这个案例使用selenium和requests库爬取新浪微博，并将这些信息保存到TXT文件中。

import time   
from selenium 
import webdriver   
import requests      
# 请求URL   
url = '<https://weibo.com/>'   
# 请求头部   
headers = {      
     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'  
  }      
# 解析页面函数   
def parse_html(html):       
  print(html)      
# 保存数据函数   
def save_data():       
  f = open('weibo.txt', 'w', encoding='utf-8')       
  browser = webdriver.Chrome()       
  browser.get(url)       
  time.sleep(10)      
  browser.find_element_by_name('username').send_keys('username') 
  browser.find_element_by_name('password').send_keys('password')
  browser.find_element_by_class_name('W_btn_a').click()       
  time.sleep(10)       
  response = requests.get(url, headers=headers, cookies=browser.get_cookies())
  parse_html(response.text)       
  browser.close()       
  f.close()
        
if __name__ == '__main__':       
   save_data()

希望这7个小案例能够帮助大家更好地掌握Python爬虫的基础知识！

三、爬虫注意事项与技巧

  • 遵循Robots协议

  • 尊重网站的爬虫协议，避免爬取禁止爬取的内容。

  • 设置合理的请求间隔

  • 避免对目标网站服务器造成过大压力，合理设置请求间隔。

  • 处理反爬虫策略

  • 了解并应对网站的反爬虫策略，如IP封禁、验证码等。

  • 使用代理IP、Cookies等技巧

  • 提高爬虫的稳定性和成功率。

  • 分布式爬虫的搭建与优化

  • 使用Scrapy-Redis等框架，实现分布式爬虫，提高爬取效率。

四、Python爬虫框架

  • Scrapy：强大的Python爬虫框架，支持分布式爬取、多种数据格式、强大的插件系统等。

  • Scrapy-Redis：基于Scrapy和Redis的分布式爬虫框架，实现分布式爬取和去重功能。

结语：

通过本文的讲解，相信读者已经对Python爬虫有了较为全面的认识。爬虫技能在数据分析、自然语言处理等领域具有广泛的应用，希望读者能够动手实践，不断提高自己的技能水平。同时，请注意合法合规地进行爬虫，遵守相关法律法规。祝您学习愉快！

文末福利

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

这套资料涵盖了编程资料、学习路线图、源代码、软件安装包等！在文末免费领取
① Python所有方向的学习路线图，清楚各个方向要学什么东西
② 100多节Python课程视频，涵盖必备基础、爬虫和数据分析
③ 100多个Python实战案例，学习不再是只会理论
④ 华为出品独家Python漫画教程，手机也能学习
⑤ 历年互联网企业Python面试真题,复习时非常方便
在这里插入图片描述
这份完整版的Python全套学习资料已经上传，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】。
在这里插入图片描述

进击的六角龙
关注
  • 24
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python 爬虫案例
悦分享
10-19 1万+
大数据采集：通过爬虫获取特定行业（如汽车行业）股票的基本信息，并获取单只股票的历史行情数据。大数据存储：根据自定义的时间间隔定时获取涨幅前60名股票的实时行情数据，并存储在数据库中。大数据分析：计算股票的月涨跌幅，对股票进行相关性分析，并预测股票行情的未来走势。
分享Python7个爬虫小案例（附源码）
weixin_68789096的博客
06-12 91
本次的7个python爬虫小案例涉及到了re正则、xpath、beautiful soup、selenium等知识点，非常适合刚入门python爬虫的小伙伴参考学习。
源码10 个 Python 爬虫入门实例
02-24
【源码】10 个 Python 爬虫入门实例【源码】10 个 Python 爬虫入门实例【源码】10 个 Python 爬虫入门实例【源码】10 个 Python 爬虫入门实例【源码】10 个 Python 爬虫入门实例【源码】10 个 Python 爬虫入门实例【源码】10 个 Python 爬虫入门实例【源码】10 个 Python 爬虫入门实例【源码】10 个 Python 爬虫入门实例【源码】10 个 Python 爬虫入门实例【源码】10 个 Python 爬虫入门实例【源码】10 个 Python 爬虫入门实例【源码】10 个 Python 爬虫入门实例【源码】10 个 Python 爬虫入门实例【源码】10 个 Python 爬虫入门实例【源码】10 个 Python 爬虫入门实例【源码】10 个 Python 爬虫入门实例【源码】10 个 Python 爬虫入门实例【源码】10 个 Python 爬虫入门实例【源码】10 个 Python 爬虫入门实例【源码】10 个 Python 爬虫入门实例【源码】10 个 Python 爬虫入门实例【源码】10 个 Python
整理|100个python爬虫项目让你一次吃到撑
最新发布
2401_85855266的博客
07-23 2070
具体来说，爬虫程序会向网站发起HTTP请求，获取网页的HTML代码、JSON数据或二进制数据（如图片、视频等），然后利用解析库对获取的数据进行解析，提取出所需的信息，最后将这些信息存储到本地文件、数据库或其他存储介质中，以便后续的分析和处理。因此，学习Python不仅可以提升个人的编程能力，还可以为未来的职业发展打下坚实的基础。Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
看完这28个python爬虫项目，你离爬虫高手就不远了，不够来找我
Everly_的博客
10-25 4005
爬取—>解析—>存储。
Python爬虫项目70例，附源码！70个Python爬虫练手实例
m0_58477260的博客
12-30 1455
我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。今天博主给大家带来了一份大礼，Python爬虫70例！
python爬虫实例100例-Python爬虫 实例
q6q6q的专栏
10-28 7885
基本GET请求1. 最基本的GET请求可以直接用get方法response = requests.get("http://www.baidu.com/")2. 添加 headers 和 查询参数如果想添加 headers，可以传入headers参数来增加请求头中的headers信息。如果要将参数放在url中传递，可以利用 params 参数。kw = {'wd':'长城'}he...
Python爬虫详解：原理、常用库与实战案例
热门推荐
Why_does_it_work的博客
04-01 7万+
通过本文的讲解，相信读者已经对Python爬虫有了较为全面的认识。爬虫技能在数据分析、自然语言处理等领域具有广泛的应用，希望读者能够动手实践，不断提高自己的技能水平。同时，请注意合法合规地进行爬虫，遵守相关法律法规。祝您学习愉快！
PYTHON爬虫_实例
10-30
这个资源包,主要是为了方便,我在日后学习爬虫的时候遇到不懂所需要用到的模板.
python爬虫实例
08-15
网络爬虫python实例，利用selenium组件爬取网页元素， 也可以作为网页自动化测试学习脚本
【源码可分享】10 个 Python 爬虫入门实例！
python03013的博客
05-27 542
【源码可分享】10 个 Python 爬虫入门实例！
python爬虫小例子
03-07
爬虫异步加载网页的小例子.
python简单爬虫实例
12-29
自动爬取鼠绘上的最新话海贼王漫画 如果本地有最新话则退出程序
Python爬虫示例代码
12-19
上七月算法 Python爬虫班 第一课示例代码
Python爬虫代码示例
08-24
Python爬虫的代码示例，包括表单提交、爬取子网页等等
分享一个Python爬虫入门实例（有源码，学习使用）
04-02
### Python爬虫技术详解与实践案例 #### 一、Python爬虫基础知识 ##### 1. 架构与组成 Python爬虫系统主要由以下几个部分组成： - **下载器**: 负责根据指定的URL下载网页内容。常用库包括： - **Requests**: ...
爬虫代码实例源码大全+Python 爬虫Scrapy课件源码.zip
03-27
"爬虫代码实例源码大全（纯源码不带视频的实例）"这部分是学习Python爬虫的重要资料。源码实例通常包括了各种常见的爬虫应用场景，如爬取网页HTML内容、解析JSON或XML数据、处理JavaScript加载的内容、登录验证、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值