网贷平台数据分析爬取并存入mysql,生成csv

最新推荐文章于 2021-12-15 15:45:51 发布

淘气的二进制

最新推荐文章于 2021-12-15 15:45:51 发布

阅读量1.5k

点赞数

分类专栏： Python 数据库文章标签： python 数据库 mysql csv

本文链接：https://blog.csdn.net/Fmuma/article/details/78221151

版权

学了python怎么使用mysql就应该实际操作起来用用呀。
爬取某网站上的数据并存入mysql，当然也包括存入csv文件。
因为一开始我是存csv，然后今晚学了连接数据库（学习进度有点慢呀）…

上主代码

import requests
import re
import MySQLdb
import csv
import time
import pandas as pd
from bs4 import BeautifulSoup
from requests import RequestException

#连接数据库
conn= MySQLdb.connect(
        host='localhost',
        port = 3306,
        user='root',
        passwd='a',
        db ='wangdai',  #数据库表 如果没有这个表则注释 使用执行语句建立一数据库
        charset='utf8',#设置编码集   如果没有则会报错UnicodeEncodeError: 'latin-1' codec can't encode characters in position 0-2: ordinal not in range(256)
        )
cur = conn.cursor() #要想使用数据库则还需要创建游标

#创建表
cur.execute("create table wdtest(wid int primary key auto_increment,name varchar(10),total int,rate varchar(10),pnum int,cycle varchar(10),p1num int,fuload varchar(10),alltotal varchar(10),capital varchar(10))")

#抓取页面
def get_page(url):
    headers = {