jsoup
千里草竹
这个作者很懒,什么都没留下…
展开
-
Jsoup 模拟登陆
楔子之前用JSOUP 模拟登陆 签到 获取积分(只需要 用户密码即可登陆的情况)。好奇 Jsoup 模拟 浏览器访问 如何获取 传统 应用依靠session 判断是否登陆测试 Jsoup.execute() 带上cookie就可以测试结果访问不带cookie的效果访问带cookie的效果模拟浏览器访问的方法如下import org.jsoup.Connection;import org.jsoup.Jsoup;import java.io.IOException;im原创 2020-05-15 22:03:20 · 1262 阅读 · 0 评论 -
Jsoup模拟表单提交数据
楔子jsoup简单学习模拟POST 上传文件void upFile() throws IOException { String filePath = "D:/tmp/1.jpg"; String filePath2 = "D:/tmp/2.jpg"; FileInputStream inputStream = FileUtils.openInputStream(n...原创 2020-05-07 15:08:33 · 2769 阅读 · 0 评论 -
Jsoup抓取图片
楔子jsoup抓取图片,其实就是分析页面图片地址,然后下载图片demoimport java.io.BufferedInputStream;import java.io.File;import java.io.IOException;import org.apache.commons.io.FileUtils;import org.apache.commons.io.Filen...原创 2018-12-04 20:32:43 · 584 阅读 · 1 评论 -
Jsoup——抖音视频抓取(四)
楔子 之前获取抖音个人作品。近期有网友说 URL里面多了一个参数 _signature。怀疑是一个金额时间有关的参数。到目前位置,关于这个参数。不清楚是怎么生成的。不知道反编译能生成这个参数吗。如果这个参数是apk里面的算法生成的。那么反编译就可以找到结果。但是现在使用浏览器也正常查看到了个人作品,那么这个参数或许是js的一个方法生成的。但是在后续的观察中,感觉可能是一个请求获取的这个参数...原创 2018-05-05 00:08:19 · 3086 阅读 · 0 评论 -
jsou——模拟登录和签到
楔子 一直好奇,对于需要登录的网站,只有登录才能进行操作。代码怎么模拟登录并操作 .花费了一上午的时间。最后发现一个代码变量写错了,导致花费了更多的时间。不过,这个错误,让我更多的了解了一些别的内容。这个过程中,存在一个问题:就是网站登录后会重定向,导致浏览器自带的调试工具无法获取登录的请求信息以及传递的参数,这个问题,使用 fiddler4可以解决 。1:模拟登录1.1...原创 2018-04-07 13:00:24 · 841 阅读 · 0 评论 -
Keep相册
楔子 好奇害死猫keep 获取keep关注人相册 https://github.com/qianlicao51/keep 注意 在操作过程中发现了一个问题。获得的json字符串包含了 html标签,导致无法转为java Bean 。后来使用 execute() 解决,详细请看 这个...原创 2018-04-06 16:48:01 · 798 阅读 · 0 评论 -
Jsoup请求数据返回json包含html标签
楔子 jsoup使用get请求数据,得到的数据包含html标签,导致在使用json转javabean时出现错误。jsoup请求返回json StringattenNextPart=Jsoup.connect(nextUrl).headers(SysConstant.headMap).ignoreContentType(true).get().body().html(); ...原创 2018-04-06 13:24:16 · 1946 阅读 · 0 评论 -
Jsoup——抖音视频抓取(一)
楔子 好奇还是猫。搞了一夜抓取抖音小视频工具 Fiddler 和 安卓手机。关于Fiddler对安卓应用手机抓包图文教程 自行网上说的明白清楚1:获取个人关注 上图的地址是https://api.amemv.com/aweme/v1/user/following/list/?user_id=93267622308&max_tim...原创 2018-04-01 10:46:19 · 35807 阅读 · 15 评论 -
Jsoup——抖音视频抓取(三)
楔子 按照前面的步骤下载还有问题。就是下载到的是一个片段。不是完整的内容。经观察。发现发生了重定向。解决重定向导致的下载不完整 解决package cn.zhuzi.douyin.test;import java.io.BufferedInputStream;import java.io.File;import java.io.IOE...原创 2018-04-01 23:46:25 · 3635 阅读 · 0 评论 -
Jsoup——抓取图片
楔子 学习jsoup ,抓取图片作为练习 更多jsoup 参考https://jsoup.org/ 。英语不好的(说的就是我) http://www.open-open.com/jsoup/注意 网页有防盗链 如果没有防盗链 FileUtils.copyURLToFile(url, new File("c://meizitu.jpg")); 就可以下载图片...原创 2018-04-01 02:06:00 · 2444 阅读 · 0 评论