java 爬虫写文件_零基础写Java知乎爬虫之将抓取的内容存储到本地

说到Java的本地存储，肯定使用IO流进行操作。

首先，我们需要一个创建文件的函数createNewFile：

public static boolean createNewFile(String filePath) {

boolean isSuccess = true;

// 如有则将"\\"转为"/",没有则不产生任何变化

String filePathTurn = filePath.replaceAll("\\\\", "/");

// 先过滤掉文件名

int index = filePathTurn.lastIndexOf("/");

String dir = filePathTurn.substring(0, index);

// 再创建文件夹

File fileDir = new File(dir);

isSuccess = fileDir.mkdirs();

// 创建文件

File file = new File(filePathTurn);

try {

isSuccess = file.createNewFile();

} catch (IOException e) {

isSuccess = false;

e.printStackTrace();

}

return isSuccess;

}

然后，我们需要一个写入文件的函数：

public static boolean writeIntoFile(String content, String filePath,

boolean isAppend) {

boolean isSuccess = true;

// 先过滤掉文件名

int index = filePath.lastIndexOf("/");

String dir = filePath.substring(0, index);

// 创建除文件的路径

File fileDir = new File(dir);

fileDir.mkdirs();

// 再创建路径下的文件

File file = null;

try {

file = new File(filePath);

file.createNewFile();

} catch (IOException e) {

isSuccess = false;

e.printStackTrace();

}

// 写入文件

FileWriter fileWriter = null;

try {

fileWriter = new FileWriter(file, isAppend);

fileWriter.write(content);

fileWriter.flush();

} catch (IOException e) {

isSuccess = false;

e.printStackTrace();

} finally {

try {

if (fileWriter != null)

fileWriter.close();

} catch (IOException e) {

e.printStackTrace();

}

}

return isSuccess;

}

我们把这两个函数封装到一个FileReaderWriter.java文件中以便后续使用。

接着我们回到知乎爬虫中。

我们需要给知乎的Zhihu封装类加个函数，用来格式化写入到本地时的排版。

public String writeString() {

String result = "";

result += "问题：" + question + "\r\n";

result += "描述：" + questionDescription + "\r\n";

result += "链接：" + zhihuUrl + "\r\n";

for (int i = 0; i < answers.size(); i++) {

result += "回答" + i + "：" + answers.get(i) + "\r\n";

}

result += "\r\n\r\n";

return result;

}

OK，这样就差不多了，接下来吧mian方法中的System.out.println改成

// 写入本地

for (Zhihu zhihu : myZhihu) {

FileReaderWriter.writeIntoFile(zhihu.writeString(),

"D:/知乎_编辑推荐.txt", true);

}

运行，便可以看到本来在控制台看到的内容已经被写到了本地的txt文件里：

大体一看没什么问题，仔细看看发现问题：存在太多的html标签，主要是和
。

我们可以在输出的时候对这些标记进行处理。

先把
换成io流里面的\r\n，再把所有的html标签都删除，这样看起来便会清晰很多。

public String writeString() {

// 拼接写入本地的字符串

String result = "";

result += "问题：" + question + "\r\n";

result += "描述：" + questionDescription + "\r\n";

result += "链接：" + zhihuUrl + "\r\n";

for (int i = 0; i < answers.size(); i++) {

result += "回答" + i + "：" + answers.get(i) + "\r\n\r\n";

}

result += "\r\n\r\n\r\n\r\n";

// 将其中的html标签进行筛选

result = result.replaceAll("
", "\r\n");

result = result.replaceAll("<.>", "");

return result;

}

这里的replaceAll函数可以使用正则，于是所有的<>标签在最后就都被删除了。