Python爬虫实战：爬取股票信息，GitHub标星3.2K_python爬虫爬取股票数据然后数据分析git-CSDN博客

本文链接：https://blog.csdn.net/m0_60388338/article/details/137096747

showStockDate({“info”:{“000001”:{“name”:“\u5e73\u5b89\u94f6\u884c”}},“data”:{“000001”:{“10”:“16.13”,“8”:“16.14”,“9”:“15.87”,“13”:“78795234.00”,“19”:“1262802470.00”,“7”:“16.12”,“15”:“40225508.00”,“14”:“37528826.00”,“69”:“17.73”,“70”:“14.51”,“12”:“5”,“17”:“945400.00”,“264648”:“0.010”,“199112”:“0.062”,“1968584”:“0.406”,“2034120”:“9.939”,“1378761”:“16.026”,“526792”:“1.675”,“395720”:“-948073.000”,“461256”:“-39.763”,“3475914”:“313014790000.000”,“1771976”:“1.100”,“6”:“16.12”,“11”:“”}}})

很明显，这个结果并不是标准的 json 数据，但这个是 JSONP 返回的标准格式的数据，这里我们先处理下头尾，将它变成一个标准的 json 数据，再对照这页面的数据进行解析，最后将分析好的值写入数据库中。

def getStockInfo(list, stockInfoURL):

count = 0

for stock in list:

try:

url = stockInfoURL + stock

r = requests.get(url, headers=headers)

将获取到的数据封装进字典

dict1 = json.loads(r.text[14: int(len(r.text)) - 1])

print(dict1)

获取字典中的数据构建写入数据模版

insert_data = {

“code”: stock,

“name”: dict1[‘info’][stock][‘name’],

“jinkai”: dict1[‘data’][stock][‘7’],

“chengjiaoliang”: dict1[‘data’][stock][‘13’],

“zhenfu”: dict1[‘data’][stock][‘526792’],

“zuigao”: dict1[‘data’][stock][‘8’],

“chengjiaoe”: dict1[‘data’][stock][‘19’],

“huanshou”: dict1[‘data’][stock][‘1968584’],

“zuidi”: dict1[‘data’][stock][‘9’],

“zuoshou”: dict1[‘data’][stock][‘6’],

“liutongshizhi”: dict1[‘data’][stock][‘3475914’]

}

cursor.execute(sql_insert, insert_data)

conn.commit()

print(stock, ‘：写入完成’)

except:

print(‘写入异常’)

遇到错误继续循环

continue

这里我们加入异常处理，因为本次爬取的数据有些多，很有可能由于某些原因抛出异常，我们当然不希望有异常的时候中断数据抓取，所以这里添加异常处理继续抓取数据。

完整代码

我们将代码稍作封装，完成本次的实战。

import requests

import re

import json

from pyquery import PyQuery

import pymysql

数据库连接

def connect():

conn = pymysql.connect(host=‘localhost’,

port=3306,

user=‘root’,

password=‘password’,

database=‘test’,

charset=‘utf8mb4’)

获取操作游标

cursor = conn.cursor()

return {“conn”: conn, “cursor”: cursor}

connection = connect()

conn, cursor = connection[‘conn’], connection[‘cursor’]

sql_insert = “insert into stock(code, name, jinkai, chengjiaoliang, zhenfu, zuigao, chengjiaoe, huanshou, zuidi, zuoshou, liutongshizhi, create_date) values (%(code)s, %(name)s, %(jinkai)s, %(chengjiaoliang)s, %(zhenfu)s, %(zuigao)s, %(chengjiaoe)s, %(huanshou)s, %(zuidi)s, %(zuoshou)s, %(liutongshizhi)s, now())”

headers = {

‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36’

}

def get_stock_list(stockListURL):

r =requests.get(stockListURL, headers = headers)

doc = PyQuery(r.text)

list = []