python网络爬虫一课一得

ZhengxinLiHai

已于 2024-01-02 21:15:33 修改

阅读量1.3k

点赞数 12

文章标签： python 爬虫开发语言

于 2024-01-02 20:56:18 首次发布

本文链接：https://blog.csdn.net/ZhengxinLiHai/article/details/135349661

版权

1.爬虫简述

网络爬虫是一种通过程序自动获取互联网上的数据的技术。使用Python编写网络爬虫相对简单且灵活，爬虫（Web Scraping）是获取和提取互联网信息的强大工具。Python作为一门强大而灵活的编程语言，拥有丰富的库和工具，使得编写爬虫变得更加容易

2.网络爬虫需要导入相应的库

导入必要的库在开始编写网络爬虫之前，我们需要导入一些必要的库。其中，最重要的是 requests 库，它可以用来发送HTTP请求和获取网页内容。

import requests

3.需要发送HTTP请求

发送HTTP请求使用 requests 库发送HTTP请求非常简单。只需要调用 requests.get() 方法，并传入要访问的URL即可。

response = requests.get('http://www.example.com')

4.解析网页内容

解析网页内容获取网页内容后，我们需要对其进行解析。常用的解析库是 BeautifulSoup，它可以将网页内容转换为解析树，方便我们提取信息。

from bs4 import BeautifulSoup

# 创建解析树
soup = BeautifulSoup(response.content, 'html.parser')

5.提取信息

提取信息我们可以使用 BeautifulSoup 的各种方法来提取所需的信息。常用的方法包括 find()、find_all()、select() 等

# 定位特定的标签
tag = soup.find('tag_name')

# 定位特定的属性
tag = soup.find('tag_name', {'attr_name': 'attr_value'})

# 定位多个标签
tag_list = soup.find_all('tag_name')

# 定位多个标签并选择特定属性
tag_list = soup.select('tag_name[attr_name="attr_value"]')

6.储存信息

存储信息一旦我们提取到了所需的信息，我们可以将其存储到本地文件或数据库中。常用的存储方式包括文本文件、CSV文件、JSON文件和数据库等

# 存储到文本文件
with open('file.txt', 'w') as f:
    f.write('content')

# 存储到CSV文件
import csv

with open('file.csv', 'w', newline='') as f:
    writer = csv.writer(f)
    writer.writerow(['column1', 'column2'])
    writer.writerow(['value1', 'value2'])

# 存储到JSON文件
import json

data = {'key1': 'value1', 'key2': 'value2'}

with open('file.json', 'w') as f:
    json.dump(data, f)

# 存储到数据库
import sqlite3

conn = sqlite3.connect('database.db')
c = conn.cursor()

c.execute('''CREATE TABLE IF NOT EXISTS table_name
             (column1, column2)''')

c.execute('''INSERT INTO table_name VALUES (?, ?)''', ('value1', 'value2'))

conn.commit()
conn.close()