![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
PerFect-dong
这个作者很懒,什么都没留下…
展开
-
htmlparser使用指南
需要做一个垂直搜索引擎,比较了nekohtml和htmlparser 的功能,尽管nekohtml在容错性、性能等方面的口碑好像比htmlparser好(htmlunit也用的是nekohtml),但感觉 nekohtml的测试用例和文档都比htmlparser都少,而且htmlparser基本上能够满足垂直搜索引擎页面处理分析的需求,因此先研究一 下htmlparser的使用,有空再研究neko转载 2015-05-14 17:52:40 · 505 阅读 · 0 评论 -
spider JAVA如何判断网页编码
转载:http://aijuans.iteye.com/blog/1853755前言最近做一个搜索项目,需要爬取很多网站获取需要的信息。在爬取网页的时候,需要获得该网页的编码,不然的话会发现爬取下来的网页有很多都是乱码。 分析一般情况下,网页头信息会指定编码,可以解析header或者meta获得charset。但有时网页并没没有指定编码,这时就需要通过网页内转载 2015-06-18 18:06:09 · 424 阅读 · 0 评论 -
java中关键字volatile的作用
用在多线程,同步变量。 线程为了提高效率,将某成员变量(如A)拷贝了一份(如B),线程中对A的访问其实访问的是B。只在某些动作时才进行A和B的同步。因此存在A和B不一致的情况。volatile就是用来避免这种情况的。volatile告诉jvm, 它所修饰的变量不保留拷贝,直接访问主内存中的(也就是上面说的A) =========================分割线1===========转载 2015-06-02 18:19:47 · 352 阅读 · 0 评论 -
htmlcleaner使用及xpath语法初探
转载:http://blog.csdn.net/reesun/article/details/8021201一、HtmlCleaner使用:1、HtmlCleanerHtmlCleaner是一个开源的Java语言的Html文档解析器。HtmlCleaner能够重新整理HTML文档的每个元素并生成结构良好(Well-Formed)的 HTML 文档。默认它遵循的规则是类似于大转载 2015-06-05 17:22:44 · 565 阅读 · 0 评论 -
使用httpclient、htmlcleaner 、xpath 采集新浪微博3G站点数据
转载:http://blog.csdn.net/telnetor/article/details/85820450、背景原来对新浪微博的采集主要靠对weibo.com这个入口进行,但是最近发现有人使用weibo.cn这个入口操作。应为weibo.cn对应的是微博的3g版本,基本没有广告,页面小,这样下载数据量会小很多,并且3g版本的采集比较简单。于是就有了这个3g版本的采集程序。转载 2015-06-05 17:08:40 · 706 阅读 · 0 评论 -
htmlcleaner xpath的一些tips
转载:http://blog.csdn.net/ustcxjt/article/details/7803513参考网上列一些tipshttp://hi.baidu.com/yuweiming/blog/item/ac2bc817ad598f04c83d6d46.htmlHtmlCleaner supports XPath to f转载 2015-06-05 17:25:08 · 518 阅读 · 0 评论