python 爬虫京东基金信息

  打开http://fund.jd.com/,发现基金信息的加载是ajax类型,页面链接不变,请求基金信息时页面实际上是在后台与服务器进行了数据交互,需要的信息是JavaScript再次加载进来,并不是在html中。于是,进入开发者模式,分析xhr,多次点击刷新发现规律,爬虫程序编写如下。


# coding: utf-8
import requests
import json
import pandas as pd
import sys
import time

params = {'User-Agent':
             'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36',
          'http':
             'https://125.94.178.99:35380'}

# 获取该类型的总基金数量
def getNumsOfFunds(url):
    reponse = requests.get(url)
    if reponse.status_code == 200:
        tmp = json.loads(reponse.text[1:-1])
        total = tmp.get('total')
        pages = tmp.get('pageCount')
        return  pages 
    return None

def sendRequest(url):
    response = requests.get(url,headers=params)
    if response.status_code == 200:
        start = response.text.index('total')-2
        return response.text[start:-1]
    print('请求失败')
    return None
        
fundTypes = {'全部':'','货币型':"60%3A200", '股票型':"60%3A202", '债券型':"60%3A201", '混合型':'60%3A203' ,'理财型':'60%3A205',
    '指数型':'60%3A207' ,'QDII': '60%3A206', '养老FOF':'60%3A208', '其它型':'60%3A204'}

def main():
    # 给出基金类型
    userInput = input('请输入想要爬取的基金类型:')
    try:
        fundType =fundTypes[userInput]
    except KeyError:
        print('输入的基金类型不存在')
        return None    
    rawurl = 'http://fund.jd.com/getLeftTab?callback&op=%s'%(fundType)
    pages = getNumsOfFunds(rawurl)
    if not pages:
        print('没有获取到页数')
        sys.exit('退出')
    result = pd.DataFrame()
    
    for i in range(1,pages):
        time.sleep(0.5)
        print('-----------------------------爬取',i,'页--------------------------------------')
        url = rawurl + '&sortType=6&page=' + str(i)
        r = sendRequest(url)
        if not r:
            print('bad')
            continue
        jsondata = json.loads(r)
        items = jsondata.get('items')
        tmp = pd.DataFrame(items)
        result =pd.concat([result,tmp])
    result.to_excel('D:/京东基金.xlsx',index=0)
    print('完成')


if __name__ == '__main__':
    main()

  使用时需要选择基金类型,详见代码中的基金类型字典fundTypes,这是从网页中分析得到的。
  后续考虑多进程优化,想挑战的同学可以自己试试!

欢迎留言交流指正!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值