- 博客(6)
- 收藏
- 关注
RSS订阅原创 爬虫数据清洗之java解析json数据
做爬虫的时候数据的清洗也是一大重点，往往绕不开三种处理办法1.正则表达式2.xpath表达式3.json关于java爬虫发送请求问题java解析json格式，需要用到第三方包，所以需要用maven下载 <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version&g
2021-05-12 14:36:45
375
原创 爬虫数据清洗之java的xpath表达式
做爬虫的时候数据的清洗也是一大重点，往往绕不开三种处理办法1.正则表达式2.xpath表达式3.json关于java爬虫发送请求问题这篇文章主要示范一下java引用xpath表达式的基本方法，在解析html文件的时候会用到，前提需要有一定xpath基础xpath解析html页面，需要用到第三方包，借助maven项目下载 <dependency> <groupId>cn.wanghaomiao</groupId> <
2021-05-12 14:32:13
246
原创 爬虫数据清洗之java正则表达式
做爬虫的时候数据的清洗也是一大重点，往往绕不开三种处理办法1.正则表达式2.xpath表达式3.json关于java爬虫发送请求问题这篇文章主要示范一下java引用正则表达式的基本方法正则表达式的主要条件只有两个：其一是表达式本身，其二就是要查找的数据源。主要分为四步：1.写出表达式2.把表达式编译成正则格式3.创建一个匹配对象进行匹配4.利用循环遍历出所有结果public static void test(){ String source = "this is ja
2021-05-12 14:18:01
340
原创 java做爬虫发送http请求方法概述，利用maven项目管理工具实现
爬虫又称网络蜘蛛（spider），其实说白了，就是利用程序从互联网上得到信息，然后把自己需要的东西筛选下来的一种技术手段。既然这样，无非就两个问题：1.拿到数据 2.筛选数据整理数据（待完善）：正则表达式xpath表达式json解析发送http请求，获取响应信息：java本身自带了访问http的相关类，urlconnection（简要说一下，因为基本不用，更多的自己去查），为什么不用自带的方法呢，主要原因就是因为它的功能 太！碎！了！。发送请求，显然没有我们看到的只是发送-接收这么简单的一来回
2021-05-11 18:18:04
864
2
原创 Python实现自定义的压力测试框架及压测分析报告
用Python实现压力测试本文章原创手写，如需转载请注明出处~压力测试（也称性能测试）的目的本身并不是为了查找系统功能上的bug，所以与传统的功能测试是两个完全不同的概念。它实现的意义，是希望通过尽可能的模拟真实用户数、连接数等检查服务器或客户端在高并发的压力下是否可以持续稳定的提供良好服务。现有公认两款测试工具，jemeter（java）和locust（python）深受大家青睐。感兴趣的小伙伴自行研究。压力测试最终结果，受多方面条件限制，所以在进行压力测试的时候，需配合检测服务器状态信息，时间允
2021-05-10 18:23:43
1862
6
原创 C#调用java代码，解决C#解析json数据
最近在自学C#，用它写脚本的时候碰到一个问题。用C#的 Newtonsoft.Json 解析json字符串的时候，会自动的把json对象进行反序列化并且将它给格式化了，虽然看似很方便，但是并不是想要的结果。因为要做的是把json对象的最外边的键按照ASCII码进行排序，然后拼接成key=value&的字符串最后进行md5加密。服务器端存在加密校验（java实现的），所以字符串中哪怕一个引号出错，校验都是无法通过的。但是C#对于json的处理，很“温柔”地把数据格式化了，就像这样：然后如
2021-05-10 16:54:21
412
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人