网络爬虫代码

最新推荐文章于 2024-05-27 13:16:19 发布
最新推荐文章于 2024-05-27 13:16:19 发布
阅读量3.8k 收藏 2
点赞数 2
文章标签： 网络爬虫

1、定义已访问队列，待访问队列和爬取得URL的哈希表，包括出队列，入队列，判断队列是否空等操作

package webspider;
import java.util.HashSet;
import java.util.PriorityQueue;
import java.util.Set;
import java.util.Queue;
public class LinkQueue {
 // 已访问的 url 集合
 private static Set visitedUrl = new HashSet();
 // 待访问的 url 集合
 private static Queue unVisitedUrl = new PriorityQueue();
 // 获得URL队列
 public static Queue getUnVisitedUrl() {
  return unVisitedUrl;
 }
 // 添加到访问过的URL队列中
 public static void addVisitedUrl(String url) {
  visitedUrl.add(url);
 }
 // 移除访问过的URL
 public static void removeVisitedUrl(String url) {
  visitedUrl.remove(url);
 }
 // 未访问的URL出队列
 public static Object unVisitedUrlDeQueue() {
  return unVisitedUrl.poll();
 }
 // 保证每个 url 只被访问一次
 public static void addUnvisitedUrl(String url) {
  if (url != null && !url.trim().equals("") && !visitedUrl.contains(url)
    && !unVisitedUrl.contains(url))
   unVisitedUrl.add(url);
 }
 // 获得已经访问的URL数目
 public static int getVisitedUrlNum() {
  return visitedUrl.size();
 }
 // 判断未访问的URL队列中是否为空
 public static boolean unVisitedUrlsEmpty() {
  return unVisitedUrl.isEmpty();
 }
}
2、 定义DownLoadFile类，根据得到的url，爬取网页内容，下载到本地保存。此处需要引用commons-httpclient.jar，commons-codec.jar，commons-logging.jar。 

package webspider;
import java.io.DataOutputStream;
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import org.apache.commons.httpclient.DefaultHttpMethodRetryHandler;
import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.HttpException;
import org.apache.commons.httpclient.HttpStatus;
import org.apache.commons.httpclient.methods.GetMethod;
import org.apache.commons.httpclient.params.HttpMethodParams;
public class DownLoadFile {
 /**
  * 根据 url 和网页类型生成需要保存的网页的文件名 去除掉 url 中非文件名字符
  */
 public String getFileNameByUrl(String url, String contentType) {
  // remove http://
  url = url.substring(7);
  // text/html类型
  if (contentType.indexOf("html") != -1) {
   url = url.replaceAll("[\\?/:*|<>\"]", "_") + ".html";
   return url;
  }
  // 如application/pdf类型
  else {
   return url.replaceAll("[\\?/:*|<>\"]", "_") + "."
     + contentType.substring(contentType.lastIndexOf("/") + 1);
  }
 }
 /**
  * 保存网页字节数组到本地文件 filePath 为要保存的文件的相对地址
  */
 private void saveToLocal(byte[] data, String filePath) {
  try {
   DataOutputStream out = new DataOutputStream(new FileOutputStream(
     new File(filePath)));
   for (int i = 0; i < data.length; i++)
    out.write(data[i]);
   out.flush();
   out.close();
  } catch (IOException e) {
   e.printStackTrace();
  }
 }
 /* 下载 url 指向的网页 */
 public String downloadFile(String url) {
  String filePath = null;
  /* 1.生成 HttpClinet 对象并设置参数 */
  HttpClient httpClient = new HttpClient();
  // 设置 Http 连接超时 5s
  httpClient.getHttpConnectionManager().getParams()
    .setConnectionTimeout(5000);
  /* 2.生成 GetMethod 对象并设置参数 */
  GetMethod getMethod = new GetMethod(url);
  // 设置 get 请求超时 5s
  getMethod.getParams().setParameter(HttpMethodParams.SO_TIMEOUT, 5000);
  // 设置请求重试处理
  getMethod.getParams().setParameter(HttpMethodParams.RETRY_HANDLER,
    new DefaultHttpMethodRetryHandler());
  /* 3.执行 HTTP GET 请求 */
  try {
   int statusCode = httpClient.executeMethod(getMethod);
   // 判断访问的状态码
   if (statusCode != HttpStatus.SC_OK) {
    System.err.println("Method failed: "
      + getMethod.getStatusLine());
    filePath = null;
   }
   /* 4.处理 HTTP 响应内容 */
   byte[] responseBody = getMethod.getResponseBody();// 读取为字节数组
   // 根据网页 url 生成保存时的文件名
   filePath = "f:\\spider\\"
     + getFileNameByUrl(url,
       getMethod.getResponseHeader("Content-Type")
         .getValue());
   saveToLocal(responseBody, filePath);
  } catch (HttpException e) {
   // 发生致命的异常，可能是协议不对或者返回的内容有问题
   System.out.println("Please check your provided http address!");
   e.printStackTrace();
  } catch (IOException e) {
   // 发生网络异常
   e.printStackTrace();
  } finally {
   // 释放连接
   getMethod.releaseConnection();
  }
  return filePath;
 }
}

3、LinkFilter类

public interface LinkFilter {
	public boolean accept(String url);  
}
4、 定义HtmlParserTool类，用来获得网页中的超链接（包括a标签，frame中的src等等），即为了得到子节点的URL。需要引入htmlparser.jar 

package webspider;
import java.util.HashSet;
import java.util.Set;
import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.filters.NodeClassFilter;
import org.htmlparser.filters.OrFilter;
import org.htmlparser.tags.LinkTag;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;
public class HtmlParserTool {
 // 获取一个网站上的链接,filter 用来过滤链接
 public static Set<String> extracLinks(String url, LinkFilter filter) {
  Set<String> links = new HashSet<String>();
  try {
   Parser parser = new Parser(url);
   //parser.setEncoding("utf-8");
   // 过滤 <frame >标签的 filter，用来提取 frame 标签里的 src 属性所表示的链接
   NodeFilter frameFilter = new NodeFilter() {
    public boolean accept(Node node) {
     if (node.getText().startsWith("frame src=")) {
      return true;
     } else {
      return false;
     }
    }
   };
   // OrFilter 来设置过滤 <a> 标签，和 <frame> 标签
   OrFilter linkFilter = new OrFilter(new NodeClassFilter(
     LinkTag.class), frameFilter);
   // 得到所有经过过滤的标签
   NodeList list = parser.extractAllNodesThatMatch(linkFilter);
   for (int i = 0; i < list.size(); i++) {
    Node tag = list.elementAt(i);
    if (tag instanceof LinkTag)// <a> 标签
    {
     LinkTag link = (LinkTag) tag;
     String linkUrl = link.getLink();// url
     if (filter.accept(linkUrl))
      links.add(linkUrl);
    } else// <frame> 标签
    {
     // 提取 frame 里 src 属性的链接如 <frame src="test.html"/>
     String frame = tag.getText();
     int start = frame.indexOf("src=");
     frame = frame.substring(start);
     int end = frame.indexOf(" ");
     if (end == -1)
      end = frame.indexOf(">");
     String frameUrl = frame.substring(5, end - 1);
     if (filter.accept(frameUrl))
      links.add(frameUrl);
    }
   }
  } catch (ParserException e) {
   e.printStackTrace();
  }
  return links;
 }
}
5、 编写测试类MyCrawler 

package webspider;
import java.util.Set;
public class MyCrawler {
 /**
  * 使用种子初始化 URL 队列
  * 
  * @return
  * @param seeds
  *            种子URL
  */
 private void initCrawlerWithSeeds(String[] seeds) {
  for (int i = 0; i < seeds.length; i++)
   LinkQueue.addUnvisitedUrl(seeds[i]);
 }
 /**
  * 抓取过程
  * 
  * @return
  * @param seeds
  */
 public void crawling(String[] seeds) { // 定义过滤器，提取以http://www.lietu.com开头的链接
  LinkFilter filter = new LinkFilter() {
   public boolean accept(String url) {
    if (url.startsWith("http://www.baidu.com"))
     return true;
    else
     return false;
   }
  };
  // 初始化 URL 队列
  initCrawlerWithSeeds(seeds);
  // 循环条件：待抓取的链接不空且抓取的网页不多于1000
  while (!LinkQueue.unVisitedUrlsEmpty()
    && LinkQueue.getVisitedUrlNum() <= 1000) {
   // 队头URL出队列
   String visitUrl = (String) LinkQueue.unVisitedUrlDeQueue();
   if (visitUrl == null)
    continue;
   DownLoadFile downLoader = new DownLoadFile();
   // 下载网页
   downLoader.downloadFile(visitUrl);
   // 该 url 放入到已访问的 URL 中
   LinkQueue.addVisitedUrl(visitUrl);
   // 提取出下载网页中的 URL
   Set<String> links = HtmlParserTool.extracLinks(visitUrl, filter);
   // 新的未访问的 URL 入队
   for (String link : links) {
    LinkQueue.addUnvisitedUrl(link);
   }
  }
 }
 // main 方法入口
 public static void main(String[] args) {
  MyCrawler crawler = new MyCrawler();
  crawler.crawling(new String[] { "http://www.baidu.com" });
 }
}

注：需要自己新建你要存放文件的文件夹

项目包： 源代码

需要的jar包：commons-httpclient-3.0.jar




Eler
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
网络爬虫的简单实现
sujef的技术历程
05-19 396
定义已访问队列，待访问队列和爬取得URL的哈希表，包括出队列，入队列，判断队列是否空等操作 package webspider; import java.util.HashSet; import java.util.PriorityQueue; import java.util.Set; import java.util.Queue; public class LinkQueue { /
【Python】第十一周 Python网络爬虫进阶实战(下)
06-13
本周课程主要讲解网爬虫进阶实战的应用。具体有：移动端App的信息爬取，API接口信息的爬取、Charles和mitmproxy抓包工具的使用、滑动验证码的识别，完整爬虫项目的实战。关于实战案例有：京东App商品信息的爬取、使用API爬取天气预报信息、极验滑动验证码的识别、完整爬虫项目实战。
Python爬虫入门实例：Python7个爬虫小案例（附源码）
最新发布
2301_78095812的博客
05-27 2988
整理出了一套系统的学习路线，这套资料涵盖了诸多学习内容：开发工具，基础视频教程，项目实战源码，51本电子书籍，100道练习题等。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
7个经典python爬虫案例代码分享
BlueSocks152的博客
06-10 3万+
本次的7个python爬虫小案例涉及到了re正则、xpath、beautiful soup、selenium等知识点，非常适合刚入门python爬虫的小伙伴参考学习。注：若涉及到版权或隐私问题，请及时联系我删除即可。
分享41个Python爬虫源代码总有一个是你想要的
zy0412326的专栏
10-30 1万+
分享41个Python爬虫源代码总有一个是你想要的
Python 万能代码模版：爬虫代码篇
热门推荐
AI悦创·编程私教1v1
09-14 11万+
你好，我是悦创。 很多同学一听到 Python 或编程语言，可能条件反射就会觉得“很难”。但今天的 Python 课程是个例外，因为今天讲的 **Python 技能，不需要你懂计算机原理，也不需要你理解复杂的编程模式。**即使是非开发人员，只要替换链接、文件，就可以轻松完成。 并且这些几个实用技巧，简直是 Python 日常帮手的最佳实践。比如： 爬取文档，爬表格，爬学习资料； 玩转图表，生成数据可视化； 批量命名文件，实现自动化办公； 批量搞图，加水印、调尺寸。 接下来，我们就逐一用 Python 实
爬虫代码
bitwind的专栏
10-22 1806
爬虫代码，备忘。 #coding=utf-8 #__author__ = chengzhipeng import re import os import sys from bs4 import BeautifulSoup from urllib import request import ssl # url = 'http://www.biqiuge.com/book/4772/' # ur...
网络爬虫
ranyongqing的专栏
05-18 692
给定种子URL，将zho
Python网络爬虫代码
10-09
【Python网络爬虫代码】是基于Python3编程语言实现的一款数据抓取工具，主要用于从互联网上，特别是百度百科这类网站，自动获取指定网页中的信息。爬虫技术在信息技术领域扮演着重要角色，它能帮助我们高效地提取...
网络爬虫代码案例
04-04
这个"网络爬虫代码案例"很可能包含了实现这一功能的编程代码示例。网络爬虫通过模拟人类用户的行为，遵循HTML页面上的链接，遍历整个网站或多个网站，收集所需的数据。 首先，爬虫的基础是HTTP/HTTPS协议，它们是...
python 爬虫代码
qq_42740465的博客
03-09 2万+
python 爬虫代码
Python网页爬虫代码
weixin_44617651的博客
05-30 5311
网页爬虫是一种自动化程序，可以自动地访问网页并提取其中的信息。它可以用于各种目的，例如搜索引擎的索引、数据挖掘、价格比较、舆情监测等。网页爬虫通常使用编程语言编写，例如Python、Java等。
Python网络爬虫实战项目代码大全（长期更新，欢迎补充）
南山牧笛的博客
11-27 1万+
Python网络爬虫实战项目代码大全（长期更新，欢迎补充） 阿橙 · 1 个月内 WechatSogou [1]- 微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口，可以扩展成基于搜狗搜索的爬虫，返回结果是列表，每一项均是公众号具体信息字典。 DouBanSpider [2]- 豆瓣读书爬虫。可以爬下豆瓣读书标签下的所有图书，按评分排名依次存储，存储到Excel中，可方便
Python爬虫完整代码拿走不谢
weixin_44617651的博客
03-22 4万+
对于新手做Python爬虫来说是有点难处的，前期练习的时候可以直接套用模板，这样省时省力还很方便。
实战爬虫：5个案例与代码解析，轻松获取网络数据资源！
qq_72290695的博客
08-04 2547
通过这五个实用的爬虫案例，我们深入了解了爬虫技术在不同领域的应用。从新闻头条的爬取与分析，到社交媒体数据的采集，再到IP地址归属地查询，以及网页内容的监控，我们看到了爬虫技术在获取和处理网络数据资源方面的强大威力。通过学习这些案例的代码实现和解析，我们为探索更多领域的爬虫应用奠定了坚实基础。假设我们想要从某电影网站爬取电影的基本信息，并将这些信息保存到数据库中。我们将使用Python编写代码，爬取电影网站的HTML内容，使用。我们将编写代码来监控特定网页的内容变化，并在变化时发送通知。
实战|手把手教你用Python爬虫(附详细源码)
Z987421的博客
10-14 3万+
我们准备了一门非常系统的爬虫课程，除了为你提供一条清晰、无痛的学习路径，我们甄选了最实用的学习资源以及庞大的主流爬虫案例库。短时间的学习，你就能够很好地掌握爬虫这个技能，获取你想得到的数据。
Python爬虫完整代码，一人一份，随便拿~
BlueSocks152的博客
06-12 7613
对于新手做Python爬虫来说是有点难处的，前期练习的时候可以直接套用模板，这样省时省力还很方便。使用Python爬取某网站的相关数据，并保存到同目录下Excel。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值