python爬虫综合大作业_爬虫综合大作业

# -*- coding: utf-8 -*-

"""

Spyder Editor

This is a temporary script file.

"""

import requests

import json

import time

import random

import pymysql

import pandas as pd

from sqlalchemy import create_engine

def fetchURL(url):

'''

功能：访问 url 的网页，获取网页内容并返回

参数：

url ：目标网页的 url

返回：目标网页的 html 内容

'''

# headers是为了把爬虫程序伪装成浏览器

headers = {

'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',

'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',

}

# 请求标头中的所有信息都是headers内容，添加到requests请求中

<