
【爬虫】
心歌技术
认知迭代命运
展开
-
jsoup教程008-从元素抽取属性,文本和HTML
从元素抽取属性,文本和HTML 问题 在解析获得一个Document实例对象,并查找到一些元素之后,你希望取得在这些元素中的数据。 方法 要取得一个属性的值,可以使用Node.attr(String key) 方法 对于一个元素中的文本,可以使用Element.text()方法对于要取得元素或属性中的HTML内容,可以使用Element.html(), 或 Node.outerHt原创 2017-10-30 13:18:10 · 372 阅读 · 0 评论 -
jsoup教程004-从一个URL加载一个Document
从一个URL加载一个Document 存在问题 你需要从一个网站获取和解析一个HTML文档,并查找其中的相关数据。你可以使用下面解决方法: 解决方法 使用 Jsoup.connect(String url)方法: Document doc = Jsoup.connect("http://example.com/").get(); String title = doc.title();原创 2017-10-30 12:31:36 · 513 阅读 · 0 评论 -
jsoup教程003-解析一个body片断
解析一个body片断 问题 假如你有一个HTML片断 (比如. 一个 div 包含一对 p 标签; 一个不完整的HTML文档) 想对它进行解析。这个HTML片断可以是用户提交的一条评论或在一个CMS页面中编辑body部分。 办法 使用Jsoup.parseBodyFragment(String html)方法. String html = "Lorem ipsum."; Document原创 2017-10-30 11:53:40 · 362 阅读 · 0 评论 -
jsoup教程010-数据修改
设置属性的值 问题 在你解析一个Document之后可能想修改其中的某些属性值,然后再保存到磁盘或都输出到前台页面。 方法 可以使用属性设置方法 Element.attr(String key, String value), 和 Elements.attr(String key, String value). 假如你需要修改一个元素的 class 属性,可以使用 Element.add原创 2017-10-30 13:20:47 · 455 阅读 · 0 评论 -
jsoup教程009-处理URLs
处理URLs 问题 你有一个包含相对URLs路径的HTML文档,需要将这些相对路径转换成绝对路径的URLs。 方法 在你解析文档时确保有指定base URI,然后使用 abs: 属性前缀来取得包含base URI的绝对路径。代码如下: Document doc = Jsoup.connect("http://www.open-open.com").get(); Element l原创 2017-10-30 13:19:30 · 725 阅读 · 0 评论 -
jsoup教程007-使用选择器语法来查找元素
使用选择器语法来查找元素 问题 你想使用类似于CSS或jQuery的语法来查找和操作元素。 方法 可以使用Element.select(String selector) 和 Elements.select(String selector) 方法实现: File input = new File("/tmp/input.html"); Document doc = Jsoup.pars原创 2017-10-30 13:13:09 · 584 阅读 · 0 评论 -
jsoup教程006-使用DOM方法来遍历一个文档
使用DOM方法来遍历一个文档 问题 你有一个HTML文档要从中提取数据,并了解这个HTML文档的结构。 方法 将HTML解析成一个Document之后,就可以使用类似于DOM的方法进行操作。示例代码: File input = new File("/tmp/input.html"); Document doc = Jsoup.parse(input, "UTF-8", "http://e原创 2017-10-30 12:49:55 · 338 阅读 · 0 评论 -
jsoup教程005-从一个文件加载一个文档
从一个文件加载一个文档 问题 在本机硬盘上有一个HTML文件,需要对它进行解析从中抽取数据或进行修改。 办法 可以使用静态 Jsoup.parse(File in, String charsetName, String baseUri) 方法: File input = new File("/tmp/input.html"); Document doc = Jsoup.parse(i原创 2017-10-30 12:43:44 · 492 阅读 · 0 评论 -
jsoup教程002-解析和遍历一个html文档
jsoup教程002-解析和遍历一个html文档 如何解析一个HTML文档: String html = "First parse"+ "Parsed HTML into a doc."; Document doc = Jsoup.parse(html); (更详细内容可查看 解析一个HTML字符串.) 其解析器能够尽最大可能从你提供的HTML文档来创见一个干净的解析结果,无论H原创 2017-10-30 11:26:00 · 657 阅读 · 0 评论 -
jsoup教程001-简介与介绍
jsoup教程001-简介与介绍 概述 jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。 jsoup的主要功能如下: 1. 从一个URL,文件或字符串中解析HTML; 2. 使用DOM或CSS选择器来原创 2017-10-30 11:20:28 · 570 阅读 · 0 评论 -
jsoup教程011-jsoup+Hibernate抓取某站9万条文章
jsoup+Hibernate抓取某站9万条文章 平时小落很喜欢看一些励志文章,觉得有助于自己亢奋,然后去给自己个理由去学习去工作。。 今天寻找亢奋的时候忽然看到一个很不错的网站,里面文章很多很全,很不错大家也可以去看看。 觉得很有帮助,于是乎。。。就想保存几篇,但是一篇篇的copy感觉太费劲啦。于是想到了jsoup哈哈。。 于是着手分析起来。 首原创 2017-11-01 16:30:27 · 434 阅读 · 0 评论 -
java爬虫之抓取城市数据
java爬虫之抓取城市数据 需求:将网址中的城市地址信息抓取出来并持久化。完成三级城市联动查询。 我这里介绍一下三级城市的爬取。 分析网页中的信息 打开调试可以看到如下信息: 可知城市信息都在样式为class="provincetr"的中 下面开工: 工具: MyEclipse + MySQL原创 2017-09-26 22:40:06 · 3906 阅读 · 0 评论 -
User-Agent 汇总
Android: Android 0.*: Mozilla/5.0 (Linux; U; Android 0.5; en-us) AppleWebKit/522 (KHTML, like Gecko) Safari/419.3 Android 1.*: Mozilla/5.0 (Linux; U; Android 1.0; en-us; dream) Apple转载 2018-01-12 15:33:05 · 2169 阅读 · 0 评论