关闭

模拟登陆CSDN——就是这么简单

工具介绍 本篇文章主要是讲解如何模拟登陆CSDN,使用的工具是HttpClient+Jsoup 其中HttpClient主要是负责发送请求,而Jsoup主要是解析HTML 你可能对HttpClient的API不太了解,不过没关系,往下看就好了~ Jsoup的语法类似jQuery的选择器,相信有一定web基础的人都可以很快的掌握 其中select(Strin...
阅读(137) 评论(0)

【使用JSOUP实现网络爬虫】清理HTML-消除不受信任的html (来防止xss攻击)

问题 在做网站的时候,经常会提供用户评论的功能。有些不怀好意的用户,会搞一些脚本到评论内容中,而这些脚本可能会破坏整个页面的行为,更严重的是获取一些机要信息,此时需要清理该HTML,以避免跨站脚本cross-site scripting攻击(XSS)。 方法 使用jsoup HTML Cleaner 方法进行清除,但需要指定一个可配置的 Whitelist。 [java] view...
阅读(854) 评论(0)

【使用JSOUP实现网络爬虫】修改数据-设置元素的文本内容

问题 你需要修改一个HTML文档中的文本内容 方法 可以使用Element的设置方法:: [java] view plaincopyprint?Element div = doc.select("div").first(); //   div.text("five > four"); // five > four  div.prepend("First ");  div.appen...
阅读(760) 评论(0)

【使用JSOUP实现网络爬虫】修改数据-设置一个元素的HTML内容

问题 你需要一个元素中的HTML内容 方法 可以使用Element中的HTML设置方法具体如下: [java] view plaincopyprint?Element div = doc.select("div").first(); //   div.html("lorem ipsum"); // lorem ipsum  div.prepend("First");//在div前添...
阅读(880) 评论(0)

【使用JSOUP实现网络爬虫】修改数据-设置属性的值

问题 在你解析一个Document之后可能想修改其中的某些属性值,然后再保存到磁盘或都输出到前台页面。 方法 可以使用属性设置方法 Element.attr(String key, String value), 和 Elements.attr(String key, String value). 假如你需要修改一个元素的 class 属性,可以使用 Element.ad...
阅读(979) 评论(0)

【使用JSOUP实现网络爬虫】获取所有链接

这个示例程序将展示如何从一个URL获得一个页面。然后提取页面中的所有链接、图片和其它辅助内容。并检查URLs和文本信息。 运行下面程序需要指定一个URLs作为参数 [java] view plaincopyprint?import org.jsoup.Jsoup;  import org.jsoup.helper.Validate;  import org.jsoup.nodes.Docu...
阅读(3083) 评论(0)

【使用JSOUP实现网络爬虫】处理URLs

问题 你有一个包含相对URLs路径的HTML文档,需要将这些相对路径转换成绝对路径的URLs。 方法 在你解析文档时确保有指定base URI,然后使用 abs: 属性前缀来取得包含base URI的绝对路径。代码如下:  [java] view plaincopyprint?Document doc = Jsoup.connect("http://www.open-open.co...
阅读(594) 评论(0)

【使用JSOUP实现网络爬虫】从元素抽取属性,文本和HTML

问题 在解析获得一个Document实例对象,并查找到一些元素之后,你希望取得在这些元素中的数据。 方法 要取得一个属性的值,可以使用Node.attr(String key) 方法对于一个元素中的文本,可以使用Element.text()方法对于要取得元素或属性中的HTML内容,可以使用Element.html(), 或 Node.outerHtml()方法 示例: [...
阅读(1146) 评论(0)

【使用JSOUP实现网络爬虫】使用选择器语法来查找元素

问题 你想使用类似于CSS或jQuery的语法来查找和操作元素。 方法 可以使用Element.select(String selector) 和 Elements.select(String selector) 方法实现: [java] view plaincopyprint?File input = new File("/tmp/input.html");  Docum...
阅读(1827) 评论(0)

【使用JSOUP实现网络爬虫】使用DOM方法来遍历一个文档

问题 你有一个HTML文档要从中提取数据,并了解这个HTML文档的结构。 方法 将HTML解析成一个Document之后,就可以使用类似于DOM的方法进行操作。示例代码: [java] view plaincopyprint?File input = new File("/tmp/input.html");  Document doc = Jsoup.parse(input, "U...
阅读(2072) 评论(0)

【使用JSOUP实现网络爬虫】从一个URL加载一个Document

存在问题 你需要从一个网站获取和解析一个HTML文档,并查找其中的相关数据。你可以使用下面解决方法: 解决方法 使用 Jsoup.connect(String url)方法: [java] view plaincopyprint?Document doc = Jsoup.connect("http://example.com/").get();  String title = do...
阅读(565) 评论(0)

【使用JSOUP实现网络爬虫】解析一个body片断

问题 假如你有一个HTML片断 (比如. 一个 div 包含一对 p 标签; 一个不完整的HTML文档) 想对它进行解析。这个HTML片断可以是用户提交的一条评论或在一个CMS页面中编辑body部分。 办法 使用Jsoup.parseBodyFragment(String html)方法. [java] view plaincopyprint?String html = "Lo...
阅读(839) 评论(0)

【使用JSOUP实现网络爬虫】解析一个HTML字符串

存在问题 来自用户输入,一个文件或一个网站的HTML字符串,你可能需要对它进行解析并取其内容,或校验其格式是否完整,或想修改它。怎么办?jsonu能够帮你轻松解决这些问题 解决方法 使用静态Jsoup.parse(String html) 方法或 Jsoup.parse(String html, String baseUri)示例代码: [html] view plaincop...
阅读(1007) 评论(0)

【使用JSOUP实现网络爬虫】入门:解析和遍历一个HTML文档

jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。 jsoup的主要功能如下: 1. 从一个URL,文件或字符串中解析HTML; 2. 使用DOM或CSS选择器来查找、取出数据; 3. 可操作HTML元素、属性、文本; 如...
阅读(685) 评论(0)

爬虫简单示例,用httpClient4.2.1实现(转载)

HttpConnectionManager.java package spider; import java.io.BufferedReader; import java.io.ByteArrayOutputStream; import java.io.IOException; import java.io.InputStream; import java.io.InputSt...
阅读(1198) 评论(0)
    个人资料
    • 访问:7794211次
    • 积分:66939
    • 等级:
    • 排名:第28名
    • 原创:254篇
    • 转载:2714篇
    • 译文:3篇
    • 评论:714条
    文章分类
    最新评论