最近基金比较火,写一个全网基金抓取脚本,过滤查找全网所有基金历史数据,可以根据自己需求修改
基金有风险,投资需谨慎!
当前实现功能:
- 从天天基金网抓取原始数据,根据基金6位数代码,提取基金名称,规模,单位净值,近一周增幅等等信息
- 基金遍历逻辑,根据6位数代码,从000000-999999全遍历
- 过滤资金规模小于0.5亿
- 过滤债基
- 过滤小于7期历史数据的新基金
- 将搜索结果保存到excel
当前存在缺陷:
- 遍历逻辑太粗犷,耗时太长,只适合小规模遍历,并不实用
- 抓取信息和写到excel 单进程,不支持断点续抓
直接上初步代码
import requests
import time
import execjs
import xlwt
import xlrd
DATA = ["代码","名称","期数","规模(亿)","单位净值","近三天涨幅","近七天涨幅","近一月收益率","近三月收益率"]
LEN = len(DATA)
def getUrl(fscode):
head = 'http://fund.eastmoney.com/pingzhongdata/'
tail = '.js?v='+ time.strftime("%Y%m%d%H%M%S",time.localtime())
return head+fscode+tail
#获取净值
def getWorth(fscode):
g