爬虫小记（一）

序言

• 网站源码获取
• • 步骤
  • 代码

在掌握了python基本语法之后，便想继续学习一些python分支的一些东西练练手，便想到了python的爬虫，本文几乎只介绍了最基础的网站源码获取步骤。

网站源码获取

步骤

1.导入相关库

import requests
import re
import time
import json

2.编辑模拟信息

    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36'
    }

3.进行爬取，并写入文件

代码

import requests
import re
import time
import json
def get_one_page(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36'