python3爬取数据导入mysql_Python3实现的爬虫爬取数据并存入mysql数据库操作示例

本文实例讲述了Python3实现的爬虫爬取数据并存入mysql数据库操作。分享给大家供大家参考，具体如下：

爬一个电脑客户端的订单。罗总推荐，抓包工具用的是HttpAnalyzerStdV7，与chrome自带的F12类似。客户端有接单大厅，罗列所有订单的简要信息。当单子被接了，就不存在了。我要做的是新出订单就爬取记录到我的数据库zyc里。

设置每10s爬一次。

抓包工具页面如图：

首先是爬虫，先找到数据存储的页面，再用正则爬出。

# -*- coding:utf-8 -*-

import re

import requests

import pymysql #Python3的mysql模块，Python2 是mysqldb

import datetime

import time

def GetResults():

requests.adapters.DEFAULT_RETRIES = 5 #有时候报错，我在网上找的不知道啥意思，好像也没用。

reg = [r'"id":(.*?),',

r'"order_no":"(.*?)",',

r'"order_title":"(.*?)",',

r'"publish_desc":"(.*?)",',

r'"game_area":"(.*?)\\/(.*?)\\/(.*?)",',

r'"order_current":"(.*?)",',

r'"order_content":"(.*?)",',

r'"order_hours":(.*?),',

r'"order_price":"(.*?)",',

r'"add_price":"(.*?)",',

r'"safe_money":"(.*?)",',

r'"speed_money":"(.*?)",',

r'"order_status_desc":"