在数据驱动的商业环境中,网络爬虫技术已成为获取信息的重要手段。京东作为中国领先的电商平台,拥有海量的商品信息和图片资源。本文将详细介绍如何使用Python编写爬虫程序,爬取京东商品的图片,并提供完整的代码实现过程。
爬虫基础
在开始编写爬虫之前,需要了解一些基本的网络爬虫概念:
- HTTP请求:爬虫通过发送HTTP请求获取网页数据。
- HTML解析:解析返回的HTML文档,提取所需信息。
- 会话管理:使用Session保持登录状态和Cookies。
环境准备
- Python:编程语言。
- Requests:发送HTTP请求。
- BeautifulSoup:解析HTML文档。
- Lxml:解析库,BeautifulSoup的后端解析器。
安装所需库:
pip install requests beautifulsoup4 lxml
爬虫实现步骤
1. 设置请求头和代理
为了避免被识别为爬虫,需要设置User-Agent和代理IP。
import requests
from bs4 import BeautifulSoup
# 代理服务器配置
proxyHost = "www.16yun.cn"
proxyPort = "5445"
proxyUser = "16QMSOML"
proxyPass = "280651"
# 构建包含代理服务器认证信息的代理URL
proxy_url = f"http://{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}"
# 请求头,包含User-Agent
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
# 使用代理的requests会话
session = requests.Session()
session.headers.update(headers)
# 配置代理,支持HTTP和HTTPS
session.proxies = {
'http': proxy_url,
'https': proxy_url
}
# 示例使用会话对象发送请求
def get_page(url):
try:
response = session.get(url)
response.raise_for_status() # 检查请求是否成功
return response.text
except requests.exceptions.HTTPError as errh:
print(f'HTTP Error: {errh}')
except requests.exceptions.ConnectionError as errc:
print(f'Error Connecting: {errc}')
except requests.exceptions.Timeout as errt:
print(f'Timeout Error: {errt}')
except requests.exceptions.RequestException as err:
print(f'OOps: Something Else: {err}')
# 使用get_page函数获取网页内容
# html_content = get_page('http://example.com')
2. 发送请求
使用Requests库发送GET请求。
def get_page(url):
response = requests.get(url, headers=headers)
return response.text
3. 解析HTML
使用BeautifulSoup解析HTML,提取商品图片链接。
def parse_page(html):
soup = BeautifulSoup(html, 'lxml')
img_tags = soup.find_all('img')
img_urls = [img.get('data-src') for img in img_tags if 'data-src' in img.attrs]
return img_urls
4. 保存图片
下载并保存图片到本地。
def save_images(img_urls, folder='images'):
for i, url in enumerate(img_urls):
try:
response = requests.get(url, stream=True)
if response.status_code == 200:
with open(f'{folder}/img_{i}.jpg', 'wb') as f:
for chunk in response.iter_content(1024):
f.write(chunk)
else:
print(f'Failed to download image: {url}')
except Exception as e:
print(f'Error occurred while downloading image {url}: {e}')
5. 主函数
整合以上步骤,实现爬取京东商品图片的功能。
def crawl_jd(keyword):
search_url = f'https://search.jd.com/Search?keyword={keyword}&enc=utf-8'
html = get_page(search_url)
img_urls = parse_page(html)
save_images(img_urls)
if __name__ == '__main__':
crawl_jd('笔记本电脑')
注意事项
- 遵守robots.txt:在爬取前,检查目标网站的robots.txt文件,确保爬虫行为符合规定。
- 请求频率控制:避免过快发送请求,以免给服务器造成负担。
- 异常处理:代码中应包含异常处理逻辑,确保程序稳定运行。
作者:小白学大数据
链接:https://juejin.cn/post/7379042209788379151