使用JSOUP实现网络爬虫
本专栏主要讲解使用JSOUP技术实现简单的网络爬虫。翻译和整理自jsoup.org。
teemai
这个作者很懒,什么都没留下…
展开
-
【使用JSOUP实现网络爬虫】清理HTML-消除不受信任的html (来防止xss攻击)
问题在做网站的时候,经常会提供用户评论的功能。有些不怀好意的用户,会搞一些脚本到评论内容中,而这些脚本可能会破坏整个页面的行为,更严重的是获取一些机要信息,此时需要清理该HTML,以避免跨站脚本cross-site scripting攻击(XSS)。方法使用jsoup HTML Cleaner 方法进行清除,但需要指定一个可配置的 Whitelist。String unsafe = "L原创 2013-11-18 11:23:23 · 18222 阅读 · 1 评论 -
【使用JSOUP实现网络爬虫】修改数据-设置元素的文本内容
问题你需要修改一个HTML文档中的文本内容方法可以使用Element的设置方法::Element div = doc.select("div").first(); // div.text("five > four"); // five > fourdiv.prepend("First ");div.append(" Last");// now: First five > four Last原创 2013-11-18 11:16:45 · 11779 阅读 · 0 评论 -
【使用JSOUP实现网络爬虫】修改数据-设置一个元素的HTML内容
问题你需要一个元素中的HTML内容方法可以使用Element中的HTML设置方法具体如下:Element div = doc.select("div").first(); // div.html("lorem ipsum"); // lorem ipsumdiv.prepend("First");//在div前添加html内容div.append("Last");//在div之后添加html原创 2013-11-15 10:30:41 · 8693 阅读 · 0 评论 -
【使用JSOUP实现网络爬虫】修改数据-设置属性的值
问题在你解析一个Document之后可能想修改其中的某些属性值,然后再保存到磁盘或都输出到前台页面。方法可以使用属性设置方法 Element.attr(String key, String value), 和 Elements.attr(String key, String value).假如你需要修改一个元素的 class 属性,可以使用 Element.addClass(String clas原创 2013-11-14 15:31:10 · 9576 阅读 · 1 评论 -
【使用JSOUP实现网络爬虫】获取所有链接
这个示例程序将展示如何从一个URL获得一个页面。然后提取页面中的所有链接、图片和其它辅助内容。并检查URLs和文本信息。运行下面程序需要指定一个URLs作为参数import org.jsoup.Jsoup;import org.jsoup.helper.Validate;import org.jsoup.nodes.Document;import org.jsoup.nodes.Elemen原创 2013-11-11 16:09:02 · 16806 阅读 · 5 评论 -
【使用JSOUP实现网络爬虫】处理URLs
问题你有一个包含相对URLs路径的HTML文档,需要将这些相对路径转换成绝对路径的URLs。方法在你解析文档时确保有指定base URI,然后使用 abs: 属性前缀来取得包含base URI的绝对路径。代码如下: Document doc = Jsoup.connect("http://www.open-open.com").get();Element link = doc.select("原创 2013-11-08 14:14:15 · 7341 阅读 · 1 评论 -
【使用JSOUP实现网络爬虫】从元素抽取属性,文本和HTML
问题在解析获得一个Document实例对象,并查找到一些元素之后,你希望取得在这些元素中的数据。方法要取得一个属性的值,可以使用Node.attr(String key) 方法 对于一个元素中的文本,可以使用Element.text()方法对于要取得元素或属性中的HTML内容,可以使用Element.html(), 或 Node.outerHtml()方法示例:String html =原创 2013-11-07 13:43:48 · 13128 阅读 · 0 评论 -
【使用JSOUP实现网络爬虫】使用选择器语法来查找元素
问题你想使用类似于CSS或jQuery的语法来查找和操作元素。方法可以使用Element.select(String selector) 和 Elements.select(String selector) 方法实现:File input = new File("/tmp/input.html");Document doc = Jsoup.parse(input, "UTF-8", "http:原创 2013-11-06 16:36:58 · 9792 阅读 · 1 评论 -
【使用JSOUP实现网络爬虫】使用DOM方法来遍历一个文档
问题你有一个HTML文档要从中提取数据,并了解这个HTML文档的结构。方法将HTML解析成一个Document之后,就可以使用类似于DOM的方法进行操作。示例代码:File input = new File("/tmp/input.html");Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/");Element原创 2013-11-05 15:23:47 · 8730 阅读 · 0 评论 -
【使用JSOUP实现网络爬虫】从一个文件加载一个文档
问题在本机硬盘上有一个HTML文件,需要对它进行解析从中抽取数据或进行修改。办法可以使用静态 Jsoup.parse(File in, String charsetName, String baseUri) 方法:File input = new File("/tmp/input.html");Document doc = Jsoup.parse(input, "UTF-8", "http://原创 2013-11-03 22:23:21 · 4856 阅读 · 0 评论 -
【使用JSOUP实现网络爬虫】从一个URL加载一个Document
存在问题你需要从一个网站获取和解析一个HTML文档,并查找其中的相关数据。你可以使用下面解决方法:解决方法使用 Jsoup.connect(String url)方法:Document doc = Jsoup.connect("http://example.com/").get();String title = doc.title(); 说明 connect(String url) 方法创建一原创 2013-10-30 14:28:05 · 12409 阅读 · 0 评论 -
【使用JSOUP实现网络爬虫】解析一个body片断
问题假如你有一个HTML片断 (比如. 一个 div 包含一对 p 标签; 一个不完整的HTML文档) 想对它进行解析。这个HTML片断可以是用户提交的一条评论或在一个CMS页面中编辑body部分。办法使用Jsoup.parseBodyFragment(String html)方法.String html = "Lorem ipsum.";Document doc = Jsoup.parseBo原创 2013-10-29 16:59:21 · 8425 阅读 · 2 评论 -
【使用JSOUP实现网络爬虫】解析一个HTML字符串
存在问题来自用户输入,一个文件或一个网站的HTML字符串,你可能需要对它进行解析并取其内容,或校验其格式是否完整,或想修改它。怎么办?jsonu能够帮你轻松解决这些问题解决方法使用静态Jsoup.parse(String html) 方法或 Jsoup.parse(String html, String baseUri)示例代码:String html = "First parse" + "P原创 2013-10-29 16:57:50 · 9330 阅读 · 2 评论 -
【使用JSOUP实现网络爬虫】入门:解析和遍历一个HTML文档
jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。jsoup的主要功能如下:1. 从一个URL,文件或字符串中解析HTML;2. 使用DOM或CSS选择器来查找、取出数据;3. 可操作HTML元素、属性、文本;如何解析一个HTML文档:String html原创 2013-10-29 16:53:27 · 17135 阅读 · 6 评论