爬虫基础入门 手写一个Java爬虫
一,网络爬虫是做什么的?
他的主要工作就是 跟据指定的url地址 去发送请求,获得响应, 然后解析响应 , 一方面从响应中查找出想要查找的数据,另一方面从响应中解析出新的URL路径,然后继续访问,继续解析;继续查找需要的数据和继续解析出新的URL路径 ,这就是网络爬虫主要干的工作.
流程图:
通过上面的流程图 能大概了解到 网络爬虫 干了哪些活 ,根据这些 也就能设计出一个简单的网络爬虫出来.
...
原创
2019-11-20 19:01:06 ·
186 阅读 ·
0 评论