Fhaohaizi的博客

个人博客:http://blog.fv1314.xyz/

使用groovy脚本使gradle灵活加载本地jar包的两种方式

本人在使用Jenkins做测试项目的可持续集成过程中,构建工具用的gradle,但由于一些jar包是并私有仓库给用,暂时没有搭建计划。这就导致了我构建项目的时候需要的jar的地址往往是不一样的,而且服务器和本地的版本可能也有所差别,经常其他同学提交代码时候把build.gradle文件一并提交了,...

2018-09-30 15:55:26

阅读数:90

评论数:0

python用递归筛选法求N以内的孪生质数(孪生素数)--附冒泡排序和插入排序练习

本人最近读完一本书《质数的孤独》,里面讲到孪生质数,就想查一下孪生质数的分布情况。其中主要用到了计算质数(素数)的方法,搜了一下,排名前几的都是用for循环来做的,感觉略微麻烦了一些,在比较一些还是觉得用递归筛选法来解决这个问题。 新建List,然后从第0位开始,如果后面的能被这个数整除,则从数...

2018-09-26 17:17:39

阅读数:265

评论数:0

java用递归筛选法求N以内的孪生质数(孪生素数)--附冒泡排序和插入排序练习

本人最近读完一本书《质数的孤独》,里面讲到孪生质数,就想查一下孪生质数的分布情况。其中主要用到了计算质数(素数)的方法,搜了一下,排名前几的都是用for循环来做的,感觉略微麻烦了一些,在比较一些还是觉得用递归筛选法来解决这个问题。 新建List<Integer&am...

2018-09-26 15:38:58

阅读数:91

评论数:0

python使用plotly批量生成图表

本人在使用groovy爬取了全国3000+城市的历史天气之后,需要把每个城市的历史天气都绘制一张Time Series表格,用来反映各地的最高温最低温温差的变化曲线。这里遇到了一个问题,每次plotly绘制完图标总会调起系统浏览器打开呈现,一旦我批量生成N多张表格时,电脑就会卡死了。在使用中文作为...

2018-09-13 14:36:09

阅读数:147

评论数:0

groovy爬虫实例——历史上的今天

最近做了一个历史上今天的爬虫程序,跟历史天气数据源一致,数据量比较小,几十秒就爬完了。中间遇到一些问题,一起分享出来供大家参考。本项目源码和相关数据已经上传到了github,有兴趣的朋友可以去看看,会不定期更新。 github传送门 弄了一个查看地址:有兴趣可以点击一下 1.get请求发送s...

2018-09-11 09:48:17

阅读数:71

评论数:0

groovy数组长度支持最大数字限制255

我在做爬虫的过程中用到了全国各地的地区和对应的编码列表,由于数据源是直接写在文件中,我思路是直接拷贝编码新建一个list,然后进行遍历,一共3000+个编码。当我新建了一个数组存放这些编码时,编译过程中报了一个错。 Error:Groovyc: While compiling spider_g...

2018-09-05 09:56:06

阅读数:123

评论数:0

groovy爬虫爬取720万条城市历史天气数据

2018年09月07日更新: 内容爬虫完毕,校验完毕,缺失信息暂未统计。总数据720万,地区3200个,年份从2011-2018,大小950Mb,有需要的可以联系我,数据每个月更新一次。中间遇到了很多坑,有机会我再写一遍博客专门讲讲大量数据爬虫遇到的坑。 ---------------...

2018-09-04 17:43:26

阅读数:153

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭