【python】东方财富网获取股东减持信息

    目标:为了获取东方财富网的上市公司减持信息,查看了下信息页面,属于单页面的信息,不需要使用scrapy,甚至于beautifulsoup也不用使用,只需要查看页面刷新数据时候访问的url即可。比起巨潮,东方财富网更简单的使用了get方法,并且参数使用都在页面加载返回的一个js里写的非常清楚,感觉就是为了方便爬取。。。同时,对参数pagenum都没有做限制,更加方便获取数据。唯一的难点在编解...
摘要由CSDN通过智能技术生成

    目标:为了获取东方财富网的上市公司减持信息,查看了下信息页面,属于单页面的信息,不需要使用scrapy,甚至于beautifulsoup也不用使用,只需要查看页面刷新数据时候访问的url即可。比起巨潮,东方财富网更简单的使用了get方法,并且参数使用都在页面加载返回的一个js里写的非常清楚,感觉就是为了方便爬取。。。同时,对参数pagenum都没有做限制,更加方便获取数据。唯一的难点在编解码,并不清楚为什么按照页面编码格式进行转换依旧会出现问题。

    

# -*- coding: GB2312 -*-
import requests
from bs4 import BeautifulSoup
import csv
import time
import codecs

#获取数据
def getHTML(url):
    response = requests.get(url)
	print(response.apparent_encoding) #返回页面编码:GB2312
	#单用GB2312也可以好像
    try:
        print(response.text.encode('GB2312').decode('GB2312'))
    except:
        print(response.text.encode('utf-8').decode('utf-8'))
    return response.text
	
#处理数据	
def writeFile(writer,res):
	#返回的数据:var TbrNdpvg={pages:401,data:[]},"url":""}
    startid = res.find("[")
    endid = res.find(
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值