被面试官问懵的Python爬虫，原来这么简单！附完整代码

在互联网飞速发展的今天，数据成为了企业和个人决策的重要依据，Python爬虫作为获取数据的强大工具，也成为了程序员面试中的高频考点。很多求职者在面试中，面对与Python爬虫相关的问题时，常常感到手足无措，被问得一脸懵。但其实，Python爬虫并没有想象中那么复杂，掌握核心要点，你就能轻松驾驭它。

 

Python爬虫的基础原理，简单来说，就是模拟浏览器向目标网站发送请求，获取网站返回的网页数据，然后从这些数据中提取出我们需要的信息。在Python中，有许多强大的库可以助力爬虫开发，其中最常用的当属 requests 库和 BeautifulSoup 库。

 

 requests 库用于发送HTTP请求，它可以轻松模拟浏览器访问网页。例如，使用 requests.get() 方法就能向指定的URL发送GET请求，并获取响应内容。示例代码如下：

 

import requests

 

url = "https://example.com" # 替换为目标网址

response = requests.get(url)

if response.status_code == 200:

    html = response.text

    print(html)

else:

    print(f"请求失败，状态码: {response.status_code}")

 

 

获取到网页的HTML代码后，就需要从其中提取有用信息，这时 BeautifulSoup 库就派上用场了。它可以将复杂的HTML文档解析成树形结构，方便我们通过标签名、类名、ID等属性提取数据。比如，我们要提取网页中所有的标题（ <h1> 标签），代码如下：

 

from bs4 import BeautifulSoup

 

soup = BeautifulSoup(html, 'html.parser')

titles = soup.find_all('h1')

for title in titles:

    print(title.text)

 

 

当然，实际的爬虫开发过程中，还会遇到很多挑战，比如网站的反爬机制。常见的反爬手段有检查请求头、限制访问频率等。应对这些反爬，我们可以在请求头中添加模拟浏览器的信息，并且合理设置请求间隔。示例如下：

 

headers = {

    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"

}

response = requests.get(url, headers=headers)

import time

time.sleep(2) # 每隔2秒发送一次请求

 

 

另外，对于一些需要登录才能访问的数据，我们可以通过模拟登录，获取登录后的Cookie，再携带Cookie进行后续请求。

 

通过以上这些基础的知识和代码示例，相信大家对Python爬虫已经有了初步的认识。掌握这些内容，在面试中遇到Python爬虫相关的问题时，就能胸有成竹地应对。当然，Python爬虫的世界还有更多进阶的技术和玩法等待着大家去探索，比如使用 Scrapy 框架进行大规模数据爬取，以及处理动态网页数据等。希望大家能通过不断实践，成为Python爬虫领域的高手！