Python爬虫-抓取数据到可视化全流程的实现

‘hexin-v’: ‘A2C11EVPFXAhNKl0PUpM6xp8MWU2aUUO5k-YOdpwLngMrQpTgnkUwzZdaMMp’,

‘Referer’: ‘http://data.10jqka.com.cn/financial/yjyg/’,

‘Cookie’:‘对应填写’,

‘User-Agent’:‘对应填写’

}

url=“http://data.10jqka.com.cn/ajax/yjyg/date/2021-12-31/board/ALL/field/enddate/order/desc/page/{}/ajax/1/free/1/”

result = ‘’

for i in range(1,5):

result += requests.get(url.format(i), headers=headers).text

result

爬取成功，检查数据

2、获取序号、股票代码、等你所需要的信息

---

index = re.findall(‘(.*)’,result)

index

148条数据符合预期，继续查看股票代码（这里使用正则表达式查询，可以看这篇里边对正则表达式进行了讲解：正则表达式+常用示例_你隔壁的小王的博客-CSDN博客）

stock_code = re.findall(‘class=“stockCode”>(.*)’,result)

print(stock_code)

3、组成DataFrame

---

data = pd.DataFrame({

“stock_code”:stock_code,

“stock_name”:stock_name,

“performance”:performance,

“summary”:summary

}, index=index)

data

组合成功

4、处理数据

---

使用正则筛选出净利润和增长幅度

data[‘start_profit’] = data[‘summary’].str.extract(‘(-{0,1}\d{0,10}.{0,1}\d{0,10})万元’)

data[‘end_profit’] = data[‘summary’].str.extract(‘至(-{0,1}\d{0,10}.{0,1}\d{0,10})万元’)

data[“start_range”] = data[‘summary’].str.extract(‘(\d{0,5}.{0,1}\d{0,5})%’) + “%”

data[“end_range”] = data[‘summary’].str.extract(‘至(\d{0,5}.{0,1}\d{0,5})%’) + “%”

data.head()

判断盈利情况：

def if_profit(x):

if x in [‘业绩预降’, ‘业绩大幅上升’, ‘业绩大幅下降’, ‘业绩预盈’, ‘业绩预增’, ‘预计扭亏’]:

return 1

if x in [‘预计减亏’, ‘不确定’,‘业绩预亏’, ‘预计增亏’, ‘预计续亏’]:

return -1

return 0

data[‘is_profit’] = data.apply(lambda x : if_profit(x[“performance”]),axis=1)

data.head()

##计算盈利多少

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Python开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024c （备注Python）

现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。

分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

t/21b2604bd33c4b6713f686ddd3fe5aff.png)

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
[外链图片转存中…(img-vSnd24gX-1712856347877)]