java网络爬虫
文章平均质量分 72
haohulala
进击的蛋糕(dangao123coding)
展开
-
【金融数据分析】计算2023年沪深300成分股涨跌排行榜
之前的文章中我们已经获取了沪深300成分股的详细个股数据,本文我们来计算一下2023年成分股的涨跌排行榜。首先看一下效果本文介绍了获取计算涨跌排行榜的方法,以及进行涨幅排行榜前10名和跌幅排行榜前10名的股票数据展示,希望对你有所帮助。原创 2024-01-07 14:07:37 · 662 阅读 · 0 评论 -
【java爬虫】首页显示沪深300指数走势图以及前后端整合部署方法
我们的项目是前后端分离的项目,但是部署的时候实际上可以将前端页面放到springboot中进行部署,springboot使用theamleaf引擎来分发页面。首先打开命令行,cd到前端项目目录,然后执行 npm run build 命令,执行成功后会看到如下的显示。本文我们将在首页添加沪深300指数成立以来的整体走势数据展示,最后的效果是这样的。我感觉从总体上来看指数还是比较稳的,没有特别大的波动,当然,这只是相对而言哈哈。对应的后端接口就是添加了获取沪深300指数数据的代码,比较简单,这里不赘述了。原创 2024-01-06 20:23:26 · 712 阅读 · 0 评论 -
【java爬虫】股票数据获取工具前后端代码
由于使用的数据库是sqlite,因此数据都保存在db文件里了,我们配置的db文件存放在resource文件夹下面。后端技术栈:springboot,sqlite,jdbcTemplate,okhttp。前端技术栈:vue,element-plus,echarts,axios。除了以上功能以外,本文还添加了一个一次性获取沪深300成分股数据的接口。前面我们有好多文章都是在介绍股票数据获取工具,这是一个前后端分离项目。数据获取的时间还挺久的,数据资源存在百度网盘自取。代码可以随意取用,做毕设或者二开都可以。原创 2024-01-01 20:59:38 · 1171 阅读 · 0 评论 -
【java爬虫】使用element-plus进行个股详细数据分页展示
前面的文章我们讲述了获取详细个股数据的方法,并且使用echarts对个股的价格走势图进行了展示,本文将编写一个页面,对个股详细数据进行展示。别问涉及到了element-plus中分页的写法,对于这部分知识将会做重点讲解。首先看一下效果之前我一直认为前端分页很难写,不过今天写完这个页面之后我发现,有了element-plus这样的框架,前端真的变得非常简单。本文介绍了后端分页接口以及基于element-plus的分页实现方法,希望对你有所帮助。原创 2024-01-01 15:23:04 · 1366 阅读 · 0 评论 -
【java爬虫】获取个股详细数据并用echarts展示
前面一篇文章介绍了获取个股数据的方法,本文将会对获取的接口进行一些优化,并且添加查询数据的接口,并且基于后端返回数据编写一个前端页面对数据进行展示。具体的获取个股数据的接口可以看上一篇文章【java爬虫】基于springboot+jdbcTemplate+sqlite+OkHttp获取个股的详细数据-CSDN博客下面是操作演示,首先是爬虫获取股票数据接着是进行获取个股详细数据并且进行数据展示数据图表还可以下载下来,下面是下载下来的图片,不过下载下来的图片就不能查看每个点的详细数据了。原创 2023-12-30 17:40:13 · 1971 阅读 · 0 评论 -
【java爬虫】基于springboot+jdbcTemplate+sqlite+OkHttp获取个股的详细数据
我们需要关心的是"hq"中的值,"hq"中的值是一个列表,列表中还有很多列表,每个列表代码一组数据,至于数据的具体含义,可以登陆搜狐财经网站上去看看。主要就是获取了数据然后进行解析,每一次解析都是从当前月份的1日到第二个月的1日,如果是12月的话是从12月1日到12月31日。数据的从左到右分别代表日期,开盘价,收盘价,涨跌额,涨跌幅,最低,最高,成交量,成交金额和换手率,最后的盘后量是没有的。其中id字段是用来放置重复插入的,他的值是code+日期,这样就能保证某一只股票当日的数据是唯一的。原创 2023-12-24 16:56:56 · 2599 阅读 · 1 评论 -
【java爬虫】使用selenium通过加载cookie的方式跳过登录
相信很多人在使用selenium的时候都有一个困惑,就是每一次打开的浏览器实例都是不带cookie的,当有一些页面需要登录操作的时候可能就会比较麻烦,每次都需要手动登录。其实会造成这个问题的原因是每次打开的浏览器都不会加载本地的cookie,相当于环境被隔离了。这个问题其实也很好解决,解决的办法就是我们首先登陆一次,然后将相应的cookie记录下载,有了cookie信息后,直接加载我们缓存的cookie就可以实现免登陆了。首先来看一下这个方案的效果,首先是京东免登陆。原创 2023-12-09 16:14:28 · 1965 阅读 · 0 评论 -
【java爬虫】公司半年报数据展示
前面有一篇文章介绍了使用selenium获取上市公司半年报的方法,这篇文章就给这些数据写一个简单的前端展示页面上一篇文章的链接在这里【java爬虫】使用selenium获取某交易所公司半年报数据-CSDN博客首先来看一下整个页面的展示效果前端页面采用vue+element-plus+axio进行编写,采用cdn的方式引入,只有一个index.html文件。整体的统计数据(各种平均值)经营收入排名前十的公司净利润排名前十的公司经营现金流排名前十的公司资产收益率排名前十的公司。原创 2023-10-29 13:25:58 · 1105 阅读 · 0 评论 -
【java爬虫】爬虫获取某交易所公司半年报全量数据
上一篇文章介绍了使用selenium获取某交易所公司半年报的方法,页面中公开展示的数据一共有2222条,本文就将所有数据分享出来。然后是以sql形式保存的数据。还有以csv格式保存的数据。首先是建表sql语句。原创 2023-10-28 21:39:45 · 430 阅读 · 0 评论 -
【java爬虫】使用selenium获取某交易所公司半年报数据
使用爬虫获取数据还是挺快的,也挺方便的。不过还是要提醒一句,本文分享的内容仅作为学习交流使用,请勿用于任何商业用途!原创 2023-10-22 13:55:49 · 1462 阅读 · 0 评论 -
【java爬虫】使用vue+element-plus编写一个简单的管理页面
前面我们已经将某宝联盟的数据获取下来了,并且编写了一个接口将数据返回,现在我们需要使用vue+element-plus编写一个简单的管理页面进行数据展示,由于第一次使用vue编写前端项目,所以只是编写了一个非常简单的页面。本文只是简单介绍了一下使用vue+element-plus编写一个管理系统前端页面的基本项目结构,根据这个项目结构就可以不断完善功能,编写出自己想要的效果。最后附上element-plus组件的使用文档。原创 2023-10-06 16:33:19 · 1525 阅读 · 0 评论 -
【java爬虫】将优惠券数据存入数据库排序查询
前两篇文章介绍了如何获取优惠券的基础信息,本文将获取到的基本信息存到数据库中,并且利用数据库的排序获取优惠力度最大的优惠券。从上述代码中可以看出来,优惠价格和优惠率是自己计算的,在获取完券前价格和券后价格后就可以计算着两个值了,最后的结果保留四位有效数字,这里只是用了格式化保留四位小数,并没有进行四舍五入。在SQL语句中 limit 后面的两个参数分别是开始的索引和查询的数据量,比如下面这条SQL语句的意思应该是从第0条数据开始查,一共查出10条数据。上述的查询对应的sql语句如下。原创 2023-07-16 13:39:11 · 2640 阅读 · 0 评论 -
【java爬虫】使用selenium获取某宝联盟淘口令
其实相比于上一篇文章,本文的重点就是打开一个新的页面,然后切换到新的页面,然后获取完淘口令后再关闭这个新的页面,不断重复这个动作。关闭新打开的页面的代码如下,其实selenium就是按照句柄去找页面的,句柄就是一串字符串,我们首先切换到新打开的页面,关闭后需要切换回首页。本文将在上一篇文章的基础上更进一步,获取每个优惠券的淘口令,毕竟我们只有复制淘口令才能在APP里面获取优惠券嘛。获取淘口令的方法也是非常简单,对于首页的每一张优惠券卡片,都需要点击进入详细信息页面,然后获取淘口令。原创 2023-07-15 19:13:17 · 2798 阅读 · 0 评论 -
【java爬虫】使用selenium爬取优惠券
本文将介绍使用selenium爬取淘宝联盟优惠券的方法,之所以使用selenium是因为我不会js逆向,如果你已经参透了淘宝联盟的js逆向方法,那么直接使用接口调数据就行了。原创 2023-07-02 14:49:36 · 1024 阅读 · 0 评论 -
【java爬虫】selenium+browsermob入门实战
到这里,本文的主要内容就介绍完了。使用selenium+browsermob可以非常方便地进行网络数据收集,不过我感觉有一个缺点就是运行起来非常慢,在爬下批量数据的情况下可以使用,但是如果要快速爬取大批量数据的话,还是直接用http去请求接口,对于反爬虫机制比较好的接口,可以去研究一下js逆向,selenium相对于直接去请求接口的一大优势就是不用花时间去研究js逆向,直接写代码去获取数据就完事了。那么本文就到此结束,如果你有什么想和我交流讨论欢迎评论区留言。原创 2023-06-24 12:56:44 · 2401 阅读 · 0 评论