网络爬虫
骚年sec03
一个苦逼的程序猿
展开
-
HttpClient学习笔记
随着互联网的飞速发展,技术的更新迭代简直不要太快,而作为一个程序员,尽快的了解每一门技术是必不可少的一个环节。但是我们不能盲目地学习,而是应该有明确的步骤,有较为适合自己的方法,这样去学习的话,一定会事半功倍。我的学习步骤,大概是这样:①是什么?同类技术有哪些?优点?②做什么?解决什么问题?以前怎么做?③怎么做?快速入门(看入门视频,教程),写demo,项目实践 本篇博...原创 2017-10-11 10:01:28 · 296 阅读 · 0 评论 -
HttpClient入门教程
HttpClient简介HTTP 协议可能是现在 Internet 上使用得最多、最重要的协议了,越来越多的 Java 应用程序需要直接通过 HTTP 协议来访问网络资源。虽然在 JDK 的 java.net 包中已经提供了访问 HTTP 协议的基本功能,但是对于大部分应用程序来说,JDK 库本身提供的功能还不够丰富和灵活。HttpClient 是 Apache Jakarta Common ...原创 2017-10-16 09:13:05 · 242 阅读 · 0 评论 -
Jsoup入门教程
jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。jsoup的主要功能如下:1. 从一个URL,文件或字符串中解析HTML;2. 使用DOM或CSS选择器来查找、取出数据;3. 可操作HTML元素、属性、文本;注:jsoup是基于MIT协议...原创 2017-10-16 09:15:45 · 2448 阅读 · 0 评论 -
HtmlUnit入门教程
htmlUnit是什么?htmlunit 是一款开源的java 页面分析工具,读取页面后,可以有效的使用htmlunit分析页面上的内容。项目可以模拟浏览器运行,被誉为java浏览器的开源实现。是一个没有界面的浏览器,运行速度迅速。是junit的扩展之一。主要作用:常规意义上,该项目可以用来进行页面的测试工作,实现网页自动化测试(包括JS),但是一般来说,在小型爬虫项目中,这种框架十分...原创 2017-10-16 09:17:25 · 2154 阅读 · 0 评论