![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
java
文章平均质量分 78
golzygo
这个作者很懒,什么都没留下…
展开
-
用htmlparser截取新闻内容 java
<br />最近做毕设,需要从各大网站上下载网页,并提取出标题,作者,正文,日期等新闻内容。标题,作者,日期等因为长度较小,变化少,所以很容易搞定,而正文的抽取对于我这个刚学htmlparser的人来说就有些复杂了。由于正文标签中各种类型子标签的存在(如图片信息,超链接,粗体),使提取正文的内容变得有些不易。最近刚发现了StringBean这个好东西,它是visitor的一个子集,遍历所有节点,抽取文字信息,但是如果直接使用,遍历所有节点,会导致抓取到不需要的信息。所以,解决方法是,先用filter过滤到符原创 2011-01-10 20:42:00 · 2889 阅读 · 1 评论 -
GBK转UTF-8的方法 JAVA
最近在做一个能分析网站新闻的网络爬虫,对方要求中文的新闻信息用UTF-8存储。可是国内大部分新闻网站的网页源代码里的中文都是GB2312的,所以必须转成UTF-8.在网上搜了很多方法,有人自己写的,有人用String newcontent=new String(content.getBytes("GBK"),"UTF-8");这种方法,可是试过之后,好好的汉字都变成了乱码。于是到搜了一下英文网页,很快就找到了解决之道。缺点是不是直接在内存中进行转换,而是把以GBK编码存储的文件转换成以UTF-8编码存储的文原创 2011-01-10 19:48:00 · 3914 阅读 · 0 评论