今天在利用word2vec训练模型的时候发现模型不可用。仔细排查了一下,发现是读写文件编码不统一的问题。
try (BufferedReader br = new BufferedReader(new InputStreamReader(
new FileInputStream(file),"UTF-8"))) {
String temp = null;
while ((temp = br.readLine()) != null) {
String[] split = temp.split(" ");
trainWordsCount += split.length;
for (String string : split) {
mc.add(string);
// System.out.println("词语:" + string);
}
}
}
后来在算法训练工具类learn里面修改了读取文件时的编码(如上)。顺利进行后续操作。