爬虫
文章平均质量分 93
学金融的程序员懒羊羊
ustc研,对金融、量化、机器学习、深度学习有浓厚兴趣。对python、C佳佳比较熟悉。
展开
-
【爬虫】Python使用动态IP,多线程,爬取uncomtrade的数据
uncomtrade官方提供了一种以网页协议获取数据的API方式,但使用上存在许多问题,本文将针对问题实现以下几个部分的内容:①对API进行封装,使之更符合常见的Python中数据获取的API形式;②使用PPTP方式(动态ip代理服务器),改变请求ip,以打破uncomtrade对单个ip取数据的限制;③使用多线程的方法,对多个国家进行数据的同时提取,加快数据提取效率。原创 2022-09-13 23:49:38 · 5592 阅读 · 6 评论 -
【爬虫】使用beautifulsoup、requests爬取网页上的图片;循环爬取上市公司高管信息
最近博主在学习前端开发和网页相关的东西,这些知识和网络爬虫(特别是网页爬取)有很强的联系,然后突然发现爬虫也有很多有趣的地方,所以准备开始系统性地把爬虫那几个包都学一学,用一用。本文展示了两个爬虫案例;意识使用beautifulsoup和requests包对https://www.woyaogexing.com/touxiang/weixin/网站的图片进行爬取,并保存到本地;二是从新浪财经网站循环爬取上市公司高管信息。...原创 2022-05-26 15:09:18 · 1223 阅读 · 0 评论