网易云音乐爬虫--评论爬取以及Top Music统计

最新推荐文章于 2024-08-16 11:38:09 发布

timelessmemoryli

最新推荐文章于 2024-08-16 11:38:09 发布

阅读量1.7w

点赞数 5

分类专栏： java 网络爬虫文章标签：网易云音乐 crawler 爬虫 java

本文链接：https://blog.csdn.net/u014788227/article/details/52936031

版权

本文介绍了使用Java实现网易云音乐评论的爬取，包括利用HttpClient和Jsoup解析网页，通过队列和线程管理爬取过程，以及如何处理评论加密问题。此外，还利用log4j进行日志记录，并用poi生成Excel保存结果，爬取的歌单数和top歌曲数可自定义配置。

摘要由CSDN通过智能技术生成

网易云云音乐评论十分有趣，于是就想写个爬虫爬取评论。但是不熟悉Python，就用java写了个。

主要使用了HttpClient,，Jsoup，队列，线程， log4j，poi生成Excel保存结果，书写过程中主要一个问题就是评论获取，网易对其进行了加密，进行好一番搜索才找到解决方法。爬取歌单数，top歌曲数都可以动态进行配置.

目录结构

主程序

package personal.mario.main;

import java.io.IOException;
import java.util.List;
import org.apache.http.client.ClientProtocolException;
import org.apache.log4j.Logger;
import org.apache.poi.hssf.usermodel.HSSFSheet;
import org.apache.poi.hssf.usermodel.HSSFWorkbook;
import personal.mario.bean.MusicCommentMessage;
import personal.mario.service.HtmlFetcherService;
import personal.mario.service.HtmlParserService;
import personal.mario.service.MusicListQueueService;
import personal.mario.service.MusicQueueService;
import personal.mario.service.TopMusicCalculateService;
import personal.mario.utils.Constants;
import personal.mario.utils.GenerateExcelUtils;

/*
 * 主逻辑
 * author timeless.li
 * 2016-10-26
 * */
public class NetEaseCrawler implements Runnable {
	
	private int totalMusicList = Constants.MUSIC_LIST_COUNT;
	private int limit = Constants.PER_PAGE;
	private int offset =Constants.OFFSET;
	private HSSFWorkbook commentMessageWorkbook = new HSSFWorkbook();
	private List<MusicCommentMessage> ms = null;
	private static Logger logger = Logger.getLogger(NetEaseCrawler.class);
	
	@Override
	public void run() {
		try {
			//初始化待爬取的歌单URL队列
			initUncrawledMusicListQueue();
			
			//记录所有爬取出来的歌曲数，包含重复歌曲
			int count = 0;
			
			//歌曲信息Excel初始化
			HSSFSheet commentMessageSheet = GenerateExcelUtils.generateCommentMessageExcelInit(commentMessageWorkbook);
			
			//开始根据歌单爬取
			while (!MusicListQueueService.isUncrawledMusicListEmpty()) {
				
				//填充待爬取歌曲队列
				fillUncrawledMusicQueue(MusicListQueueService.getTopMusicList());
				
				//歌曲队列为空就返回上层循环填充歌曲队列
				while (!MusicQueueService.isUncrawledMusicQueueEmpty()) {
					
					//取出待爬取歌曲ID
					String songId = MusicQueueService.getTopMusicUrl();
					
					//判断是否已经爬取过
					if (!MusicQueueService.isMusicCrawled(songId)) {
						//获取到爬取结果&