Jsoup实现爬取多个网页的多条固定信息

1 篇文章 0 订阅
1 篇文章 0 订阅

Jsoup爬取的数据,直接上代码 

package chongqing_guanxinbingdu;

import java.io.IOException;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;

public class paqu1 {

	public static void main(String[] args) {
		
		int sum = 1;
		List<String> url_list=new ArrayList<>();
		for(int j = 6;j<=14;j++){
		try {
                        //j为网页页数,即6到14页,这里的url可根据需求进行修改
			String url ="http://wsjkw.cq.gov.cn/ztzl_242/qlzhxxgzbdfyyqfkgz/yqtb/index_"+j+".html";
			Document doc = Jsoup.connect(url).get();
                        //获取网页所有的A标签,Elements类似一个arraylist数组
			Elements elements2=doc.getElementsByTag("a");
                        //遍历所有的标签
			for(int i=0;i<elements2.size();i++){
                            //获取A标签的文本
				String p_href = elements2.get(i).text();
	            
                                  //判断获取的内容是否包含下列字符
				if(p_href.contains("重庆市新冠肺炎疫情情况") |  p_href.contains("截至") ){
					if(!(p_href.contains("12时") |p_href.contains("1月") |(p_href.contains("3月") & ! (p_href.contains("1日") )))){
		
					String yiqing_url = elements2.get(i).attr("abs:href");
					Document open_doc = Jsoup.connect(yiqing_url).get();
					
					Elements elements =open_doc.getElementsByTag("p");
					for(int k=0;k<elements.size();k++){
						String p_text = elements.get(k).text();
					
						if(p_text.contains("累计报告")){
							//System.out.println(elements.get(k).text());
							String text =elements.get(k).text();
							List<String> result = Arrays.asList(text.split("[。]"));
							for(String text_one:result){
								if(!(text_one.contains("密切接触者") |text_one.contains("具体情况如下"))){
								System.out.println(text_one);
								}
							}
							sum++;
						}
					
					}
				
					
					}
				}
			}
			

			
		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		}
		System.out.println(sum);
	}

}

没啥需求,对特殊数据进行清洗了一下,草草搞定。

祝愿祖国早日康复。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
描述:由C#编写的多线程异步抓取网页的网络爬虫控制台程序 功能:目前只能提取网络链接,所用的两个记录文件并不需要很大。网页文本、图片、视频和html代码暂时不能抓取,请见谅。 但需要注意,网页的数目是非常庞大的,如下代码理论上大概可以把整个互联网网页链接都抓下来。 但事实上,由于处理器功能和网络条件(主要是网速)限制,一般的家用电脑最多能胜任12个线程左右的抓取任务,抓取速度有限。可以抓取,但需要时间和耐心。 当然,这个程序把所有链接抓下来是可能的,因为链接占系统空间并不多,而且有记录文件的帮助,已抓取网页的数量可以堆积下去, 甚至可以把所有的互联网网络链接都存取下来,当然,最好是分批次。建议设置maxNum为500-1000左右,慢慢累积下去。 另外因为是控制台程序,有时候显示字符过多会系统会暂停显示,这时候只要点击控制台按下回车键就可以了。程序假死的时候,可以按回车键(Enter)试试。 /// 使用本程序,请确保已创建相应的记录文件,出于简化代码的考虑,本程序做的并不健壮,请见谅。 /// 默认的文件创建在E盘根目录“已抓取网址.txt”和“待抓取网址.txt”这两个文本文件中,使用者需要自行创建这两个文件,注意后缀名不要搞错。 这两个文件里面的链接基本都是有效链接,可以单独处理使用。 本爬虫程序的速度如下: 10线程最快大概500个链接每分钟 6-8线程最快大概400-500个链接每分钟 2-4线程最快大概200-400个链接每分钟 单线程最快大概70-100个链接每分钟 之所以用多线程异步抓取完全是出于效率考虑,本程序多线程同步并不能带来速度的提升,只要抓取的网页不要太多重复和冗余就可以,异步并不意味着错误。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值