follow大神教程——实践java爬虫之二

最新推荐文章于 2024-11-08 14:58:24 发布

weixin_34206899

最新推荐文章于 2024-11-08 14:58:24 发布

阅读量149

点赞数

文章标签： java 爬虫 python

原文链接：https://my.oschina.net/SnifferApache/blog/286072

版权

2019独角兽企业重金招聘Python工程师标准>>>

第二篇大神开始抓知乎了，哟哟好顺利的样子。

最终目标：抓取http://www.cfsn.cn/news/node_4534.htm的新闻标题、链接，并存储到mysql中。

现在以模仿为主，第一阶段：抓取之后存储到txt之中。

将main中url赋值为http://www.cfsn.cn/news/node_4534.htm，运行结果是该页面的源码，接着应该用正则表达式抓取需要的信息。

该页面的第一条新闻：

<a href="content/2014-05/14/content_203870.htm" target="_blank">青岛22人因生产有害食品获刑</a>

回头看大神原文：

正则语句为question_link.+?href=\"(.+?)\"

则抓取结果【最新结果】

/question/22221540/answer/22120516

正则语句为question_link.+?>(.+?)<

则抓取结果为第一个标题。

=>（）中内容是要抓的部分。

观察食品安全的网页源码，_blank具有特殊性，可见其与其他超链接区分开。

试一下

正则语句：_blank\">(.+?)<

 public static void main(String[] args) {
  // 定义即将访问的链接
  String url = "http://www.cfsn.cn/news/node_4534.htm";  
  // 访问链接并获取页面内容
  String result = SendGet(url);
  // 使用正则匹配图片的src内容
  String imgSrc = RegexString(result, "_blank\">(.+?)<");
  // 打印结果
  System.out.println(imgSrc);
 }

运行结果：

青岛22人因生产有害食品获刑

（第一次运行显示超时异常，坑爹网速不给力吖）

接着要将所有结果存储到ArrayList中，我们需要新的正则函数

旧的正则函数：

 static String RegexString(String targetStr, String patternStr) {

  // 定义一个样式模板，此中使用正则表达式，括号中是要抓的内容

  // 相当于埋好了陷阱匹配的地方就会掉下去

  Pattern pattern = Pattern.compile(patternStr);

  // 定义一个matcher用来做匹配

  Matcher matcher = pattern.matcher(targetStr);

  // 如果找到了

  if (matcher.find()) {

   // 打印出结果

   return matcher.group(1);

  }

  return "Nothing";

 }

新的

static ArrayList<String> RegexString(String targetStr, String patternStr) {

  // 预定义一个ArrayList来存储结果

  ArrayList<String> results = new ArrayList<String>();  

  // 定义一个样式模板，此中使用正则表达式，括号中是要抓的内容， 相当于埋好了陷阱匹配的地方就会掉下去 

  Pattern pattern = Pattern.compile(patternStr);

  // 定义一个matcher用来做匹配

  Matcher matcher = pattern.matcher(targetStr);

  // 如果找到了

  boolean isFind = matcher.find();

  // 使用循环将句子里所有的kelvin找出并替换再将内容加到sb里  

  while(isFind){

   //添加成功匹配的结果  

   results.add(matcher.group(1));

   // 继续查找下一个匹配对象  

   isFind=matcher.find();

   

  }

  return results;

 }

还要修改main中imgSrc的类型为ArrayList<String>

运行结果：

[青岛22人因生产有害食品获刑, 广西查获120吨凤爪猪耳等洋垃圾, 臭豆腐用【略】

成功抓取到所有标题。

抓链接的正则表达式：

若为href=\"(.+?)\" 多抓了几个；

若为href=\"(.+?)\".+?_blank，结果每次都是Connection time out；

还没系统研究过正则，有可能是\"后面的.+?所致

实际测试正则表达式为span><a href=\"(.+?)\"运行结果则显示出要的新闻超链接。

下来需要标题和链接，设计一个cfsn类（china food safe net）存储所有抓取到的对象，

public class Cfsn {
 public String title;  //新闻标题
 public String CfsnUrl ;//网页链接
 
 //构造方法初始化数据
 public Cfsn(){
  title = "" ;
  CfsnUrl = "" ;
 }
 
 @Override
 public String toString(){
  return "标题："+title+"\n链接："+CfsnUrl+"\n";
 }
}

Spider类：

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.URL;
import java.net.URLConnection;
import java.util.ArrayList;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

//Spider类来存放一些爬虫常用的函数。
public class Spider {
 static String SendGet(String url) {
  // 定义一个字符串用来存储网页内容
  String result = "";
  // 定义一个缓冲字符输入流
  BufferedReader in = null;
  try {
   // 将string转成url对象
   URL realUrl = new URL(url);
   // 初始化一个链接到那个url的连接
   URLConnection connection = realUrl.openConnection();
   // 开始实际的连接
   connection.connect();
   // 初始化 BufferedReader输入流来读取URL的响应
   in = new BufferedReader(new InputStreamReader(
     connection.getInputStream(), "UTF-8"));
   // 用来临时存储抓取到的每一行的数据
   String line;
   while ((line = in.readLine()) != null) {
    // 遍历抓取到的每一行并将其存储到result里面
    result += line;
   }
  } catch (Exception e) {
   System.out.println("发送GET请求出现异常！" + e);
   e.printStackTrace();
  }
  // 使用finally来关闭输入流
  finally {
   try {
    if (in != null) {
     in.close();
    }
   } catch (Exception e2) {
    e2.printStackTrace();
   }
  }
  return result;
 }
 static ArrayList<Cfsn> GetCfsn(String content) {
  // 预定义一个ArrayList来存储结果
  ArrayList<Cfsn> results = new ArrayList<Cfsn>();
  // 用来匹配标题
  Pattern questionPattern = Pattern.compile("_blank\">(.+?)<");
  Matcher questionMatcher = questionPattern.matcher(content);
  // 用来匹配url，也就是问题的链接
  Pattern urlPattern = Pattern.compile("span><a href=\"(.+?)\"");
  Matcher urlMatcher = urlPattern.matcher(content);
  // 标题和链接要均能匹配到
  boolean isFind = questionMatcher.find() && urlMatcher.find();
  while (isFind) {
   // 定义一个食品安全网对象来存储抓取到的信息
   Cfsn zhuhuTemp = new Cfsn();
   zhuhuTemp.title = questionMatcher.group(1);
   zhuhuTemp.CfsnUrl = "http://www.cfsn.cn/news/" + urlMatcher.group(1);
   // 添加成功匹配的结果
   results.add(zhuhuTemp);
   // 继续查找下一个匹配对象
   isFind = questionMatcher.find() && urlMatcher.find();
  }
  return results;
 }
}

Main类：

import java.util.ArrayList;
public class Main {
 public static void main(String args[]) {
  // 定义即将访问的链接
  String url = "http://www.cfsn.cn/news/node_4534.htm";
  // 访问链接并获取页面内容
  String content = Spider.SendGet(url);
  // 获取该页面的所有的知乎对象
  ArrayList<Cfsn> myCfsn = Spider.GetCfsn(content);
  // 打印结果
  System.out.println(myCfsn);
 }
}

结果：