java写爬虫

爬虫技术：httpclient +jsoup
持久层：mybatis-plus
服务框架：springboot

使用httpclient还是jsoup还是webmagic还是…，首先webmagic肯定只是借鉴了，毕竟了解到的webmagic是基于httpclient还是jsoup开发的，作为开发当然想开发自己的啦

也不能直接jsoup.parse(url)，会爬取不到一些网页，因为jsoup不能模拟浏览器，jsoup一般用来解析HTML，只能先httpclient开始。

没玩过爬虫也总知道不要用自己的ip，在b站也粗略地看了一些视频，最后得出了一个结论：java好像不适合爬虫，都没啥成熟的框架。

java开发现在有两个问题：1，如何模拟浏览器；2，使用IP代理

先理清步骤：
1.打开httpclient（Http客户端，浏览器是浏览器，所说的浏览器是用HttpClient模拟浏览器，第3点）
2.创建请求方法：HttpGet或HttpPost，这一步要输入网址
3.请求信息配置（模拟浏览器）
4.发送请求
5.解析响应

有时要试试抓包工具，因为复制浏览器的网址可能会少一些东西，如www，这样就怎么样都连接不了，
因为直接复制浏览器的地址，我又一次差点放弃，