Quora cqa问题抓取

最新推荐文章于 2024-04-06 09:54:26 发布

eternalLight

最新推荐文章于 2024-04-06 09:54:26 发布

阅读量2.3k

点赞数

分类专栏：爬虫语义网文章标签： quora 社区问答

本文链接：https://blog.csdn.net/fssqawj/article/details/48416697

版权

本文介绍如何利用Quora的搜索功能抓取社区问答。通过关键词匹配找到相似问题，获取高排名问题的URL，然后抓取相关问题页面的答案。

摘要由CSDN通过智能技术生成

quora是一个比较知名的社区问答网站，对于目前比较流行的cqa问题，通过quora提供的搜索工具来找到相似的问题进而抽取答案。

事实上，quora的搜索大致是根据关键词匹配的。

String s=HttpRequest.sendGet("https://www.quora.com/search","q=Have%20you%20ever%20done%20the%20NoFap%20Challenge?");
Document doc = Jsoup.parse(s);
List<String> answer_url = new ArrayList<String>();
Elements ctag = doc.select("div.pagedlist_item");
System.out.println(s);
for(Element question : ctag){
	Element href = question.select("a.question_link").first();
	if(href != null){
		System.out.println("www.quora.com" + href.attr("href"));
		answer_url.add("https://www.quora.com" + href.attr("href"));
	}
}
for(String url : answer_url){
	//url = "http://www.quora.com/What-is-the-craziest-thing-you-have-ever-said-or-done-at-an-interview-and-still-got-the-job";
	String pag