日语对话构建调查研究

日语对话构建调查研究

一，OKWave（オウケイウェイヴ）网站NLP数据调研

1.OKWave速递

OKWave网址：OKWave
网站印象图

2.调研结论

（1）可行性：无特殊反爬手段，可直接从OKWave网站抓取数据并构建对话。
（2）构建对话的质量评估：网站提供了多个领域的问答板块，覆盖了从科技，生活，娱乐，到社会和文化，很适合爬取做为对话AI的训练数据。

3.额外网站信息参考补充

（1）数据总量与日新增
数据总量：该社区成立于1999年，已经有超过20年的历史，它是日本最早的在线问答社区之一，也是最大的之一，据调研帖子总数据量：826万条，可直接抓取帖子总量2万条。通过关键字，推荐间接抓取约100万条
日新增：OKWave每日新增帖子的数量在400左右
MAU：每月月活约为1000万。
（2）网站简要介绍
OKWave（オウケイウェイヴ）是一家位于日本的在线问答社区，成立于1999年。它是日本最大的问答社区之一，有超过300万的注册用户，每个月有超过500万的独立访问者。OKWave提供了一个平台，让用户能够提出问题并得到其他用户的回答，同时也可以回答其他用户的问题。该网站提供了多个领域的问答板块，覆盖了从科技，生活，娱乐，到社会和文化等方方面面的主题。

一，教えて！goo（おしえて！グー）网站NLP数据调研

1.教えて！goo速递

教えて！goo网址：教えて！goo
网站印象图

2.调研结论

（1）可行性：无特殊反爬手段，可直接从教えて！goo网站抓取数据并构建对话。
（2）构建对话的质量评估：网站提供了多个领域的问答板块，覆盖了从科技，生活，娱乐，到社会和文化，很适合爬取做为对话AI的训练数据。

3.额外网站信息参考补充

（1）数据总量与日新增
数据总量：综合日活与成立时间估计总帖子数一千万以上。分析网站可直接抓取帖子数：200万左右。
日新增：每日新增700左右
MAU：2500万人
（2）网站简要介绍
与OKWave一样是日本最大的在线问答社区之一，成立于1999年。它为用户提供了一个平台，让他们可以提出问题并得到其他用户的回答，同时也可以回答其他用户的问题。该网站的内容涵盖了从科技，生活，娱乐，到社会和文化等方方面面的主题。

三，Yahoo!知恵袋网站NLP数据调研

1.Yahoo!知恵袋

Yahoo!知恵袋网址：Yahoo!知恵袋
网站印象图

2.调研结论

（1）可行性：无特殊反爬手段，可直接从Yahoo!知恵袋网站抓取数据并构建对话。
（2）构建对话的质量评估：网站提供了多个领域的问答板块，覆盖了从科技，生活，娱乐，到社会和文化，很适合爬取做为对话AI的训练数据。

3.额外网站信息参考补充

（1）数据总量与日新增
数据总量：综合日活与成立时间估计总帖子数一千万以上。分析网站可直接抓取帖子数：200万左右。 包括可通过推荐与间接抓取数约100万
日新增：每日新增4k左右
MAU：8400万人
（2）网站简要介绍
雅虎智慧袋（Yahoo!知恵袋，Yahoo! Chiebukuro）是雅虎公司提供的一个在线问答社区，成立于2003年，目前在日本非常受欢迎，是日本最大的问答社区之一。

该网站的内容话题非常广泛，涵盖了从科技，生活，娱乐，到社会和文化等方方面面的主题。用户可以在网站上提问和回答问题，每个问题都可以分配到一个特定的板块，例如健康、教育、美食、旅行等等，方便用户找到自己感兴趣的问题和回答。

四，Quora日本版网站NLP数据调研

1.Quora日本版

Quora日本版网址：Quora日本版
网站印象图

2.调研结论

（1）可行性：进行小规模的测试，无特殊的反爬手段。只是最后获取评论涉及动态加载，用selenium模拟点击即可。可从Quora日本版网站抓取数据并构建对话。
（2）构建对话的质量评估：网站提供了多个领域的问答板块，覆盖了从科技，生活，娱乐，到社会和文化，很适合爬取做为对话AI的训练数据。

3.额外网站信息参考补充

（1）数据总量与日新增
数据总量：综合日活与成立时间估计总帖子数二百万以上。
日新增：每日新增200左右
MAU：3万人
（2）网站简要介绍
Quora日本版的内容话题非常广泛，涵盖了各个领域的主题。与其他问答社区类似，Quora日本版的内容话题是由用户自主提出的，因此非常多样化和多样性。这种开放性的内容话题可以让用户获得各种不同的意见和建议，吸引了大量用户的参与。