网络爬虫异常文件处理

我们在爬取网页数据的时候常常会出现封IP的情况，导致数据下载不完整，成为脏数据，在清洗数据的时候，我们可以先对下载的异常文件进行单独分类，最后在读取异常文件中的源网址，重新下载。在采集数据的时候注意文件保存的格式具体如下图：<!--源网址-->+网页数据内容

下图就是在清洗的时候整理处理的异常文件

具体代码如下：

	private void downloadDragGmp(HttpCall httpCall) {
		File file = new File("G:/fileRecord/药品GMP认证");
		File files[] = file.listFiles();// 获取目录下的所有文件
		HttpCallObj httpRes = null;
		for (File f : files) {
			String crawlWebsite = HtmlUtil.readWebsite(f.getAbsolutePath(), "UTF-8");// 获取源网址
			if (crawlWebsite != null) {
				// 如果成功取出源网址，就把目标文件给剪切到其他目录(最好不要删除)
				String targetPath = WebConstant.cfdaSaveHtmlDirCopy + "/" + "药品GMP认证";
				FileUtil.cutGeneralFile(f.getAbsolutePath(), targetPath);
			}
			try {
				httpRes = httpCall.getResponse(crawlWebsite, "POST");
				String pageContent = new String(httpRes.getContent(), "UTF-8");
				String savePath = generateSavaPath("药品GMP认证");
				String fileName = f.getAbsolutePath().substring(f.getAbsolutePath().lastIndexOf("\\") + 1);
				HtmlUtil.saveHtmlFile(savePath + fileName, pageContent, "UTF-8");
			} catch (IOException e) {
				e.printStackTrace();
			}

		}
	}

读取源网址如下

public static String readWebsite(String filePath, String charset) {
		File f = new File(filePath);
		FileInputStream fis = null;
		InputStreamReader isr = null;

		try {
			fis = new FileInputStream(f); // 读取原文件
			if (StrUtil.isBlank(charset)) {
				isr = new InputStreamReader(fis);
			} else {
				isr = new InputStreamReader(fis, charset);
			}
			BufferedReader br = new BufferedReader(isr);
			String website = br.readLine();
			int beginIndex = website.indexOf("<!--");
			int endIndex = website.indexOf("-->");
			if (beginIndex != -1)
				website = website.substring(beginIndex + 4, endIndex).trim();
			return website;
		} catch (Exception e) {
			LOG.error(e);
		} finally {
			try {
				if (isr != null) {
					isr.close();
					isr = null;
				}
			} catch (Exception e) {
			} finally {
				try {
					if (fis != null) {
						fis.close();
						fis = null;
					}
				} catch (Exception e) {
				}
			}
		}
		return "";
	}