使用Httpclient 进行表单登录,获取数据 使用jsoup处理数据
技术仅供学习背景:爬取相关数据,完成数据的录入。技术栈 Httpclient,jsoup。要领:要模仿人访问网页的步骤一步一步实现代码,不要跳过某一步直接去查结果。该设置的请求头不要忘记,可以先写上后面测试的时候再一点点删除没用的请求头。目的:要完成数据的自动爬取 就一定要自动登录该网站 拿到cookie。完成数据的解析,进行数据录入数据库(本文代码没设置cookie请求头的原因是 使用的同一个Httpclient客户端 该对象会像浏览器一样缓存cookie 故要先进行登录)httpclient进行
原创
2020-08-07 14:29:42 ·
438 阅读 ·
0 评论