【Python】抓取基金数据,这简直太爱了

相信有很多朋友还是喜欢买基金的,今天刚好有时间就给大家来一个基金的。虽然暴富不可能,但是对于理财方面还是有所帮助的。代码以及视频教程就放在下面了。

【刑不?】掌握这招,工资不会低,爬天天基金...


在这里插入图片描述

爬虫常规思路:

1.分析网页
2.对网页发送请求,获取响应
3.提取解析数据
4.保存数据

Python版本:3.6.5
import requests
import time
import csv
import re

分析网页

其实这个网站的网页数据没有太多的反爬,就是网页需要构建一个params的参数,该参数里面包含了网页翻页的数据,时间戳的数据,这些是动态的,需要怎么自己指定一下,如图所示:

在这里插入图片描述

如上分析后,就可以对该链接发送请求了,但是这个网站还有一个和别的地方不一样的,他给你返回的不是html源码,也不是json数据,而是字符数据,如图:
在这里插入图片描述

我们可以看到这些不同html和json数据,所以就需要用到正则表达式老进行过滤提取了。经过以上分析,我的大体思路就是,先爬取一页的数据,利用正则提取,能成功爬取到一页的数据后,只用做一个循环遍历,就可以爬取多页的数据了。

在这里插入图片描述

代码部分:

构建请求需要的参数

###
###Python学习交流Q群:906715085####
 def get_params(self):   
      """     
 构建params参数的方法       
  :return:    
      """    
params = {
             
  "t": "1",          
    "lx": "1"
  • 1
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 4
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值