毕业设计 基于java的网络爬虫技术的网络新闻分析

---

1 项目简介

🔥 Hi，各位同学好呀，这里是L学长！

🥇今天向大家分享一个今年(2022)最新完成的毕业设计项目作品

基于java的网络爬虫技术的网络新闻分析

🥇 学长根据实现的难度和等级对项目进行评分(最低0分，满分5分)

• 难度系数：3分

• 工作量：3分

• 创新点：3分

---

2 实现效果

废话不多说，先上实现效果

相似新闻的展示采用了JfreeChart作为白盒测试的测试对象，测试结果如下图所示，精确显示了每一条新闻的关注度走势，如图

篇幅有限，本文不做过多展示

3 系统设计

本系统设计为分别由三个子系统组成，分别是：网络爬虫系统即数据采集系统、新闻分析系统即中文语料相似度分析系统和最终结果展示系统，如图

爬虫核心是Web类，凤凰网新闻、搜狐新闻、网易新闻分别集成了核心Web类，然后各自实现各自的解析规则，核心Web类负责一些基础操作，例如打开网页，获取网页源码，还有一些正则表达式抽取分析算法，其实，Web类也包含了POJO类的作用，也是作为爬虫爬取新闻后生成的结果的载体，如图

4 关键代码

篇幅有限，无法放完整代码，源码分析在工程内

package com.service;

import java.sql.ResultSet;
import java.util.ArrayList;
import java.util.List;

import com.dao.DB;
import com.orm.TQueren;
import com.orm.TUser;
import com.orm.TXuesheng;

/**
 * @author yanrj
 * @version ����ʱ�䣺Mar 29, 2013 10:26:29 PM
 */
public class GetListService {
	public List getXueshengList(String sql)
	{
		List xueshengList = new ArrayList();
		Object[] params={};
		DB mydb=new DB();
		try
		{
			mydb.doPstm(sql, params);
			ResultSet rs=mydb.getRs();
			while(rs.next())
			{
				TXuesheng xuesheng=new TXuesheng();
				
				xuesheng.setId(rs.getInt("id"));
				xuesheng.setXuehao(rs.getString("xuehao"));
				xuesheng.setLoginpw(rs.getString("loginpw"));
				xuesheng.setXingming(rs.getString("xingming"));
				xuesheng.setXingbie(rs.getString("xingbie"));
				xuesheng.setRuxue(rs.getString("ruxue"));
				xuesheng.setShenfenzheng(rs.getString("shenfenzheng"));
				xuesheng.setYuanxi(rs.getString("yuanxi"));
				xuesheng.setLianxi(rs.getString("lianxi"));
				xuesheng.setRiqi(rs.getString("riqi"));
				
				xuesheng.setZt_jwc(rs.getInt("zt_jwc"));
				xuesheng.setZt_fdy(rs.getInt("zt_fdy"));
				xuesheng.setZt_tsg(rs.getInt("zt_tsg"));
				xuesheng.setZt_sgc(rs.getInt("zt_sgc"));
				xuesheng.setZt_cwc(rs.getInt("zt_cwc"));
				xuesheng.setZt_xbgs(rs.getInt("zt_xbgs"));
				xuesheng.setZt_xuesheng(rs.getInt("zt_xuesheng"));
				xueshengList.add(xuesheng);
		    }
			rs.close();
		}
		catch(Exception e)
		{
			e.printStackTrace();
		}
		mydb.closed();
		return xueshengList;
	}
	
	private List getUserList(String sql)
	{
		List userList = new ArrayList();
		Object[] params={};
		DB mydb=new DB();
		try
		{
			mydb.doPstm(sql, params);
			ResultSet rs=mydb.getRs();
			while(rs.next())
			{
				TUser user=new TUser();
				user.setId(rs.getInt("id"));
				user.setLoginname(rs.getString("loginname"));
				user.setLoginpw(rs.getString("loginpw"));
			 	user.setXingming(rs.getString("xingming"));
			 	user.setXingbie(rs.getString("xingbie"));
				
				userList.add(user);
		    }
			rs.close();
		}
		catch(Exception e)
		{
			e.printStackTrace();
		}
		mydb.closed();
		return userList;		
	}
	
	private TXuesheng getXueshengById(int id)
	{
		String sql = "select * from t_xuesheng where id="+id;
		TXuesheng xuesheng = (TXuesheng)getXueshengList(sql).get(0);
		return xuesheng;
	}
	
	private TUser getUserById(int id)
	{
		String sql = "select * from t_user where id="+id;
		TUser user = (TUser)getUserList(sql).get(0);
		return user;
	}
	
	public List getQuerenList(String sql)
	{
		List querenList = new ArrayList();
		
		Object[] params={};
		DB mydb=new DB();
		try
		{
			mydb.doPstm(sql, params);
			ResultSet rs=mydb.getRs();
			while(rs.next())
			{
				TQueren queren=new TQueren();
				queren.setId(rs.getInt("id"));
				queren.setShijian(rs.getString("shijian"));

				int xuesheng_id = rs.getInt("xuesheng_id");
				queren.setXuesheng(getXueshengById(xuesheng_id));
				
				int user_id	= rs.getInt("user_id");
				queren.setUser(getUserById(user_id));
				
				querenList.add(queren);
		    }
			rs.close();
		}
		catch(Exception e)
		{
			e.printStackTrace();
		}
		mydb.closed();		
		
		return querenList;
	}
}

5 论文概览

6 最后