Fhaohaizi的博客

核弹派测试人员

排序:
默认
按更新时间
按访问量

groovy爬虫练习之——企业信息

话不多说,信息源暂时隐藏了,获取数据的方法依然才去了regex正则匹配的方法,请求框架采用了java,爬虫语言是groovy,本地拼接好sql语句,发送到mysql服务端,完成存储。 代码如下: package com.fan import com.fantest.httpclient.F...

2018-10-22 10:22:56

阅读数:3

评论数:0

java和groovy混合编程时提示找不到符合错误解决办法

本人在使用java和groovy混合编程时,发现一个问题,当java和groovy相互调用的过程中在本机执行没有任何问题,但当弄到Jenkins上之后总是报错,本机使用gradle执行build的task的时候,也是报错,信息如下: 错误: 找不到符号 import com.fission....

2018-10-19 14:14:16

阅读数:11

评论数:0

Jenkins启动之后进程被自动杀死进程

这是一个比较尴尬的问题,网上也没搜到有价值的东西,说一下现象:本人欲在腾讯云最低配的服务器上搭建一套Jenkins+spring boot+mysql的服务,用来做一些不可描述的事情。然而在启动了一会儿Jenkins服务之后,Jenkins的进程就被杀死了。之前还好好的,等到第二天就发现已经被关闭...

2018-10-17 10:08:22

阅读数:12

评论数:0

使用groovy脚本使gradle灵活加载本地jar包的两种方式

本人在使用Jenkins做测试项目的可持续集成过程中,构建工具用的gradle,但由于一些jar包是并私有仓库给用,暂时没有搭建计划。这就导致了我构建项目的时候需要的jar的地址往往是不一样的,而且服务器和本地的版本可能也有所差别,经常其他同学提交代码时候把build.gradle文件一并提交了,...

2018-09-30 15:55:26

阅读数:31

评论数:0

python用递归筛选法求N以内的孪生质数(孪生素数)--附冒泡排序和插入排序练习

本人最近读完一本书《质数的孤独》,里面讲到孪生质数,就想查一下孪生质数的分布情况。其中主要用到了计算质数(素数)的方法,搜了一下,排名前几的都是用for循环来做的,感觉略微麻烦了一些,在比较一些还是觉得用递归筛选法来解决这个问题。 新建List,然后从第0位开始,如果后面的能被这个数整除,则从数...

2018-09-26 17:17:39

阅读数:49

评论数:0

java用递归筛选法求N以内的孪生质数(孪生素数)--附冒泡排序和插入排序练习

本人最近读完一本书《质数的孤独》,里面讲到孪生质数,就想查一下孪生质数的分布情况。其中主要用到了计算质数(素数)的方法,搜了一下,排名前几的都是用for循环来做的,感觉略微麻烦了一些,在比较一些还是觉得用递归筛选法来解决这个问题。 新建List<Integer&am...

2018-09-26 15:38:58

阅读数:47

评论数:0

python使用plotly批量生成图表

本人在使用groovy爬取了全国3000+城市的历史天气之后,需要把每个城市的历史天气都绘制一张Time Series表格,用来反映各地的最高温最低温温差的变化曲线。这里遇到了一个问题,每次plotly绘制完图标总会调起系统浏览器打开呈现,一旦我批量生成N多张表格时,电脑就会卡死了。在使用中文作为...

2018-09-13 14:36:09

阅读数:61

评论数:0

groovy爬虫实例——历史上的今天

最近做了一个历史上今天的爬虫程序,跟历史天气数据源一致,数据量比较小,几十秒就爬完了。中间遇到一些问题,一起分享出来供大家参考。本项目源码和相关数据已经上传到了github,有兴趣的朋友可以去看看,会不定期更新。 github传送门 弄了一个查看地址:有兴趣可以点击一下 1.get请求发送s...

2018-09-11 09:48:17

阅读数:30

评论数:0

groovy数组长度支持最大数字限制255

我在做爬虫的过程中用到了全国各地的地区和对应的编码列表,由于数据源是直接写在文件中,我思路是直接拷贝编码新建一个list,然后进行遍历,一共3000+个编码。当我新建了一个数组存放这些编码时,编译过程中报了一个错。 Error:Groovyc: While compiling spider_g...

2018-09-05 09:56:06

阅读数:82

评论数:0

groovy爬虫爬取720万条城市历史天气数据

2018年09月07日更新: 内容爬虫完毕,校验完毕,缺失信息暂未统计。总数据720万,地区3200个,年份从2011-2018,大小950Mb,有需要的可以联系我,数据每个月更新一次。中间遇到了很多坑,有机会我再写一遍博客专门讲讲大量数据爬虫遇到的坑。 ---------------...

2018-09-04 17:43:26

阅读数:112

评论数:0

基于java的直线型接口测试框架初探

2018年09月26日更新:支持批量header设置,支持json格式数据传参 package com.fantest.httpclient; import net.sf.json.JSONObject; import org.apache.http.Header; import org.a...

2018-08-31 11:50:55

阅读数:125

评论数:0

httpclient爬虫爬取汉字拼音等信息(关键信息未隐去)

下面是使用httpclient爬虫爬取某个网站的汉字相关信息的实践代码,中间遇到了一些字符格式的问题。之前被同事见过用html解析类来抓取页面信息,而不是像我现在用正则,经常尝试,效果并不好,毕竟页面放爬虫还是非常好做的。在本次实践中,就遇到了相关的难点,所以还是才去了正则提取的方式。分享代码,供...

2018-08-27 16:16:34

阅读数:79

评论数:0

httpclient爬虫爬取电影信息和下载地址实例(编码格式转化)

2018年08月22日更新 本次更新主要解决了老旧页面下载链接可能是迅雷和ftp格式的,还有就是去重,因为每一页有一个推荐列表,里面也会有相应的详情链接,还有兼容了另外的页面格式,更新了两个方法: public static void spider(int pa) { Lis...

2018-08-21 11:55:03

阅读数:93

评论数:0

python plotly制作接口响应耗时的时间序列表(Time Series )

本人在做工作中,要对某一个接口的响应耗时进行一个长期的统计,由于之前的数据全都写在了数据库中,统计了半年多的数据。在学习了plotly的Time Series 时间序列图标之后,绘制了一张接口响应耗时的图标,分享代码,供大家参考。 下面是从数据库读取数据的java代码: JSONObjec...

2018-08-16 14:01:30

阅读数:93

评论数:0

使用spring boot实现数据库存储服务化

2018年09月06日更新: 修复bug,8.22中代码已更新 -------------------------分割线------------------------- 2018年08月22日更新: 更新内容:添加通用的数据库存储类,添加了根据等待任务数动态创建辅助线程的功能。 两个类...

2018-08-14 13:22:05

阅读数:61

评论数:0

接口爬虫之网页表单数据提取

本人最近接到一项任务,要爬一项数据,这个数据在某个网页的表格里面,数据量几百。打开调试模式发现接口返回的就是一个html页面,只要当做string处理。(解析html文件用xpath爬虫有些麻烦)方案采用了正则匹配所有的单元行,然后提取单元格内容,这里面遇到了一些其他问题: 1、本来采用直接提取...

2018-08-10 09:46:45

阅读数:228

评论数:0

接口自动化通用验证类

2018年08月22日更新: 更新内容:增加了字段值是Boolean值的验证,修复了重复节点的验证bug。 /** * 通用验证方法封装 */ public class Verify extends SourceCode { private JSONObject verifyJs...

2018-08-01 09:31:59

阅读数:132

评论数:0

测试之《代码不朽》脑图

上周读完《代码不朽》这本书,深受启发,在运用到自己的测试框架里面之后,也是效果明显。上周除了把冗长的方法解耦,功能解耦以外还做了一些功能优化,比如数据库存储功能的改变,有原来的串行存储变成了并行存储,使用到了LinkedBlockingDeque消息队列,思路是把所有的存储sql放到队列,然后另起...

2018-07-24 09:47:11

阅读数:84

评论数:0

将swagger文档自动变成测试代码

2018年08月15日更新,本次修复一个bug,在post请求,query和dataform参数同时存在时,导致新建dataform参数json对象名称错误的bug。 /** * 拼接json参数 * * @param i 0:get请求;1:post请求 ...

2018-07-12 10:54:40

阅读数:529

评论数:0

接口测试框架脑图(持续更新)

2018年09月19日更新:码云邀请传送门 2018年08月30日更新: 更新内容:解耦了系统初始化类和转码解码类 2018年08月22日更新: 更新内容:添加通用的数据库存储类,添加了根据等待任务数动态创建辅助线程的功能。 ---------------------------...

2018-07-09 13:13:14

阅读数:218

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭