从东方财富网站获取动态市盈率和市净率的爬虫代码

之前一直采用tushare.get_today_all() 获取市盈率和市净率,不知道是不是因为接口不再维护,获取的信息跟软件上的信息存在出入,刚好这段时间学习爬虫,因此写了段从东方财富网站获取市盈率和市净率的代码:

def web_data_to_json(url):
    res = requests.get(url, timeout=30)
    strdata = res.text
    strindex = strdata.find("diff\":[")
    if strindex != -1:
        jsonstr1 = strdata[(strindex + 6):]
        jsonstr2 = jsonstr1[:-4]
        str_to_json = json.loads(jsonstr2)
    else:
        str_to_json=None
    return str_to_json
def get_per_pb(basic_url):
    df = pd.DataFrame(columns=["code", "per", "pb"])
    for i in range(1, 200):
        if i % 5 == 0:
            print("the {}th web page, total 200 web pages".format(i))
        url1 = basic_url[:95]
        url2 = basic_url[96:]
        url = url1 + str(i) + url2
        data_list = web_data_to_json(url)
        if data_list is None:
        
  • 0
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
东方财富爬虫是一种基于Java语言编写的网络爬虫程序,主要用于获取东方财富网站上的金融市场数据和资讯。对于金融从业人员和个人投资者来说,通过爬虫程序获取实时的市场数据和相关资讯信息对于决策和分析是非常有帮助的。 通过使用Java编程语言,我们可以编写强大而灵活的爬虫程序。Java在网络编程方面有着丰富的类库和框架,可以帮助我们方便地进行网络请求、数据解析和处理。 东方财富爬虫的主要功能包括以下几个方面: 1. 登录功能:通过模拟用户登录,可以获取到个人账户的相关数据和定制化的内容。 2. 数据抓取:爬虫程序可以定时从东方财富网站上抓取实时的股票行情数据、财务数据、研报和新闻等信息,并按照设定的规则进行解析和入库。 3. 数据解析:通过分析网页的HTML结构,我们可以使用Java的HTML解析库来提取出需要的数据,例如股票代码、股票名称、股价、交易量等信息。 4. 数据处理与分析:通过爬虫程序获取的数据可以进一步进行处理和分析,例如计算股票的涨跌幅、均值等统计指标,或者生成相关报表图表。 5. 数据存储:我们可以选择将爬取到的数据存储到数据库中,方便后续的查阅和分析。 总的来说,东方财富爬虫在金融行业中具有重要的应用价值,可以帮助用户实时地获取到市场数据和资讯信息,并进行进一步的分析和处理。通过使用Java语言编写的爬虫程序,我们可以更加灵活地控制和操作数据,提高效率和准确性。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值