主要使用的库:
requests:爬虫请求并获取源码
re:使用正则表达式提取数据
json:使用JSON提取数据
pandas:使用pandans存储数据
##sqlalchemy :备用方案,上传数据到mysql
以下是源代码:
# -*- coding:utf-8 -*-
import requests
import re
import random
import time
import json
import pymysql
from sqlalchemy import create_engine
from requests.packages.urllib3.exceptions import InsecureRequestWarning
import pandas as pd
requests.packages.urllib3.disable_warnings(InsecureRequestWarning) ###禁止提醒SSL警告
class jd(object):
def __init__(self):
self.s = requests.session() ## 创建一个session对象
headers = {
'accept':'application/json, text/javascript, */*; q=0.01',