爬虫技术:httpclient +jsoup
持久层:mybatis-plus
服务框架:springboot
使用httpclient还是jsoup还是webmagic还是…,首先webmagic肯定只是借鉴了,毕竟了解到的webmagic是基于httpclient还是jsoup开发的,作为开发当然想开发自己的啦
也不能直接jsoup.parse(url),会爬取不到一些网页,因为jsoup不能模拟浏览器,jsoup一般用来解析HTML,只能先httpclient开始。
没玩过爬虫也总知道不要用自己的ip,在b站也粗略地看了一些视频,最后得出了一个结论:java好像不适合爬虫,都没啥成熟的框架。
java开发现在有两个问题:1,如何模拟浏览器;2,使用IP代理
先理清步骤:
1.打开httpclient(Http客户端,浏览器是浏览器,所说的浏览器是用HttpClient模拟浏览器,第3点)
2.创建请求方法:HttpGet或HttpPost,这一步要输入网址
3.请求信息配置(模拟浏览器)
4.发送请求
5.解析响应
有时要试试抓包工具,因为复制浏览器的网址可能会少一些东西,如www,这样就怎么样都连接不了,
因为直接复制浏览器的地址,我又一次差点放弃,