Hadoop之电信日志数据处理（四）-------web界面实现及可视化效果展示

最新推荐文章于 2022-12-13 23:05:16 发布
最新推荐文章于 2022-12-13 23:05:16 发布
阅读量1.6k 收藏 8
点赞数 2
分类专栏： Hadoop之电信日志数据处理（四）-------web界面 文章标签： hadoop    大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/llxybm/article/details/92811871
版权

工具类：

public class DBUtils {
	private static ComboPooledDataSource source = new ComboPooledDataSource();
	
	private DBUtils() {
	}

	public static DataSource getSource(){
		return source;
	}
	
	public static Connection getConn(){
		try {
			return source.getConnection();
		} catch (SQLException e) {
			e.printStackTrace();
			throw new RuntimeException(e);
		}
	}
}

 

servlet类实现：

public class APP01Servlet extends HttpServlet {

	public void doGet(HttpServletRequest request, HttpServletResponse response)
			throws ServletException, IOException {
		try {
			//查询日期
			String dateStr = request.getParameter("date");
			System.out.println(dateStr);
			//查询类型
			int type = Integer.parseInt(request.getParameter("type"));
			String sql = null;
			String title = null;
			switch (type) {
				case 1://总流量
					title = "应用大类总流量top10";
					sql = "select " +
							"apptype,DATE_FORMAT(hourid,'%Y-%m-%d') dateid,sum(totalTraffic) su " +
							"from D_H_HTTP_APPTYPE " +
							"group by apptype,dateid " +
							"having dateid ='"+dateStr+"' " +
							"order by su desc " +
							"limit 0,10";
					break;
				case 2://上行流量
					title = "应用大类上行总流量top10";
					sql = "select " +
							"apptype,DATE_FORMAT(hourid,'%Y-%m-%d') dateid,sum(trafficUL) su " +
							"from D_H_HTTP_APPTYPE " +
							"group by apptype,dateid " +
							"having dateid ='"+dateStr+"' " +
							"order by su desc " +
							"limit 0,10";
					break;
				case 3://下行流量
					title = "应用大类下行总流量top10";
					sql = "select " +
							"apptype,DATE_FORMAT(hourid,'%Y-%m-%d') dateid,sum(trafficDL) su " +
							"from D_H_HTTP_APPTYPE " +
							"group by apptype,dateid " +
							"having dateid ='"+dateStr+"' " +
							"order by su desc " +
							"limit 0,10";
					break;
				case 4://尝试次数
					title = "应用大类尝试次数top10";
					sql = "select " +
							"apptype,DATE_FORMAT(hourid,'%Y-%m-%d') dateid,sum(attempts) su " +
							"from D_H_HTTP_APPTYPE " +
							"group by apptype,dateid " +
							"having dateid ='"+dateStr+"' " +
							"order by su desc " +
							"limit 0,10";
					break;
				case 5://接受次数
					title = "应用大类接受次数top10";
					sql = "select " +
							"apptype,DATE_FORMAT(hourid,'%Y-%m-%d') dateid,sum(accepts) su " +
							"from D_H_HTTP_APPTYPE " +
							"group by apptype,dateid " +
							"having dateid ='"+dateStr+"' " +
							"order by su desc " +
							"limit 0,10";
					break;
	
				default:
					throw new RuntimeException("未知操作码");
			}
			
			//查询数据库
			QueryRunner runner = new QueryRunner(DBUtils.getSource());
			List<Map<String, Object>> list = runner.query(sql, new MapListHandler());
			
			//处理结果 -- 图例
			StringBuffer legendBuf = new StringBuffer();
			//处理结果 -- 数据
			StringBuffer seriesBuf = new StringBuffer();
			
			int sum = 0;
			for(Map<String,Object> m : list){
				String app01Name = APP01.getName((Integer) m.get("apptype"));
				legendBuf.append("'"+app01Name+"',");
				
				int data = ((BigDecimal) m.get("su")).intValue();
				sum += data;
				seriesBuf.append("{value:"+data+", name:'"+app01Name+"'},");
			}
			String legend = "legend: {orient : 'vertical',x : 'left',data:["+(legendBuf.length() == 0 ? "" : legendBuf.substring(0, legendBuf.length()-1))+"]}";
			String series = "series : [{name:'应用大类',type:'pie',radius : '55%',center: ['50%', '60%'],data:["+(seriesBuf.length() == 0 ? "" : seriesBuf.substring(0,seriesBuf.length()-1))+"]}]";
		  
			
			//整合
			Map<String,String> resultMap = new HashMap<String,String>();
			resultMap.put("date", dateStr);
			resultMap.put("title", 	"title : {text: '"+title+"',subtext: '',x:'center'}");
			resultMap.put("legend", legend);
			resultMap.put("series", series);
			resultMap.put("sum", sum*0.75+"");
			//转发
			request.setAttribute("map", resultMap);
			request.getRequestDispatcher("/app01.jsp").forward(request,response);
			
		} catch (Exception e) {
			e.printStackTrace();
			throw new RuntimeException(e);
		}
	}

	public void doPost(HttpServletRequest request, HttpServletResponse response)
			throws ServletException, IOException {
		doGet(request,response);
	}

}

 

public class APP02Servlet extends HttpServlet {

	public void doGet(HttpServletRequest request, HttpServletResponse response)
			throws ServletException, IOException {
		String app01name = new String(request.getParameter("app01name").getBytes("iso8859-1"),"utf-8");
		int app01id = APP01.getId(app01name);
		String dateStr = request.getParameter("date");
		int type = Integer.parseInt(request.getParameter("type"));
		
		try {

			String sql = null;
			String title = null;
			switch (type) {
				case 1://总流量
					title = app01name+"类总流量top10";
					sql = "select " +
							"apptype,appsubtype,DATE_FORMAT(hourid,'%Y-%m-%d') dateid,sum(totalTraffic) su " +
							"from D_H_HTTP_APPTYPE " +
							"group by apptype,appsubtype,dateid " +
							"having dateid ='"+dateStr+"' and apptype= '"+app01id+"'" +
							"order by su desc " +
							"limit 0,10";
					break;
				case 2://上行流量
					title = app01name+"类上行总流量top10";
					sql = "select " +
							"apptype,appsubtype,DATE_FORMAT(hourid,'%Y-%m-%d') dateid,sum(trafficUL) su " +
							"from D_H_HTTP_APPTYPE " +
							"group by apptype,appsubtype,dateid " +
							"having dateid ='"+dateStr+"' and apptype= '"+app01id+"'" +
							"order by su desc " +
							"limit 0,10";
					break;
				case 3://下行流量
					title = app01name+"类下行总流量top10";
					sql = "select " +
							"apptype,appsubtype,DATE_FORMAT(hourid,'%Y-%m-%d') dateid,sum(trafficDL) su " +
							"from D_H_HTTP_APPTYPE " +
							"group by apptype,appsubtype,dateid " +
							"having dateid ='"+dateStr+"' and apptype= '"+app01id+"'" +
							"order by su desc " +
							"limit 0,10";
					break;
				case 4://尝试次数
					title = app01name+"类尝试次数top10";
					sql = "select " +
							"apptype,appsubtype,DATE_FORMAT(hourid,'%Y-%m-%d') dateid,sum(attempts) su " +
							"from D_H_HTTP_APPTYPE " +
							"group by apptype,appsubtype,dateid " +
							"having dateid ='"+dateStr+"' and apptype= '"+app01id+"'" +
							"order by su desc " +
							"limit 0,10";
					break;
				case 5://接受次数
					title = app01name+"类接受次数top10";
					sql = "select " +
							"apptype,appsubtype,DATE_FORMAT(hourid,'%Y-%m-%d') dateid,sum(accepts) su " +
							"from D_H_HTTP_APPTYPE " +
							"group by apptype,appsubtype,dateid " +
							"having dateid ='"+dateStr+"' and apptype= '"+app01id+"'" +
							"order by su desc " +
							"limit 0,10";
					break;
	
				default:
					throw new RuntimeException("未知操作码");
			}
			
			//查询数据库
			QueryRunner runner = new QueryRunner(DBUtils.getSource());
			List<Map<String, Object>> list = runner.query(sql, new MapListHandler());
			
			//处理结果 -- 图例
			StringBuffer legendBuf = new StringBuffer();
			//处理结果 -- 数据
			StringBuffer seriesBuf = new StringBuffer();
			
			int sum = 0;
			for(Map<String,Object> m : list){
				String app02Name = APP02.getName((Integer) m.get("appsubtype"));
				legendBuf.append("'"+app02Name+"',");
				
				int data = ((BigDecimal) m.get("su")).intValue();
				sum += data;
				seriesBuf.append("{value:"+data+", name:'"+app02Name+"'},");
			}
			String legend = "legend: {orient : 'vertical',x : 'left',data:["+(legendBuf.length() == 0 ? "" : legendBuf.substring(0, legendBuf.length()-1))+"]}";
			String series = "series : [{name:'"+app01name+"类',type:'pie',radius : '55%',center: ['50%', '60%'],data:["+(seriesBuf.length() == 0 ? "" : seriesBuf.substring(0,seriesBuf.length()-1))+"]}]";
		  
			
			//整合
			Map<String,String> resultMap = new HashMap<String,String>();
			resultMap.put("date", dateStr);
			resultMap.put("title", 	"title : {text: '"+title+"',subtext: '',x:'center'}");
			resultMap.put("legend", legend);
			resultMap.put("series", series);
			resultMap.put("sum", sum*0.75+"");
			//转发
			request.setAttribute("map", resultMap);
			request.getRequestDispatcher("/app02.jsp").forward(request,response);
			
		} catch (Exception e) {
			e.printStackTrace();
			throw new RuntimeException(e);
		}
	
		
	}

	public void doPost(HttpServletRequest request, HttpServletResponse response)
			throws ServletException, IOException {
		doGet(request, response);
	}

}

 

public class APP03Servlet extends HttpServlet {

	public void doGet(HttpServletRequest request, HttpServletResponse response)
			throws ServletException, IOException {
		try {
			//查询日期
			String dateStr = request.getParameter("date");
			//查询类型
			int type = Integer.parseInt(request.getParameter("type"));

			String sql = null;
			String title = null;
			switch (type) {
				case 1://尝试次数
					title = "网站表现尝试次数top10";
					sql = "select " +
							"host,DATE_FORMAT(hourid,'%Y-%m-%d') dateid,sum(attempts) su " +
							"from D_H_HTTP_HOST " +
							"group by host,dateid " +
							"having dateid ='"+dateStr+"' " +
							"order by su desc " +
							"limit 0,10";	
					break;
				case 2://接受次数
					title = "网站表现接受次数top10";
					sql = "select " +
							"host,DATE_FORMAT(hourid,'%Y-%m-%d') dateid,sum(accepts) su " +
							"from D_H_HTTP_HOST " +
							"group by host,dateid " +
							"having dateid ='"+dateStr+"' " +
							"order by su desc " +
							"limit 0,10";	
					break;
				case 3://总流量
					title = "网站总流量top10";
					sql = "select " +
							"host,DATE_FORMAT(hourid,'%Y-%m-%d') dateid,sum(totaltraffic) su " +
							"from D_H_HTTP_HOST " +
							"group by host,dateid " +
							"having dateid ='"+dateStr+"' " +
							"order by su desc " +
							"limit 0,10";	
					break;
				case 4://上行流量
					title = "网站上行流量top10";
					sql = "select " +
							"host,DATE_FORMAT(hourid,'%Y-%m-%d') dateid,sum(trafficUL) su " +
							"from D_H_HTTP_HOST " +
							"group by host,dateid " +
							"having dateid ='"+dateStr+"' " +
							"order by su desc " +
							"limit 0,10";	
					break;
				case 5://上行流量
					title = "网站上行流量top10";
					sql = "select " +
							"host,DATE_FORMAT(hourid,'%Y-%m-%d') dateid,sum(trafficDL) su " +
							"from D_H_HTTP_HOST " +
							"group by host,dateid " +
							"having dateid ='"+dateStr+"' " +
							"order by su desc " +
							"limit 0,10";	
					break;

				default:
					throw new RuntimeException("未知操作码");
			}
			
			//查询数据库
			QueryRunner runner = new QueryRunner(DBUtils.getSource());
			List<Map<String, Object>> list = runner.query(sql, new MapListHandler());
			
			//处理结果 -- 横坐标
			StringBuffer xAxisBuf = new StringBuffer();
			
			//处理结果 -- 数据
			StringBuffer seriesBuf = new StringBuffer();
			
			for(Map<String,Object> m : list){
				String hostName = (String) m.get("host");
				xAxisBuf.append("'"+hostName+"',");
				
				int data = ((BigDecimal) m.get("su")).intValue();
				seriesBuf.append("{value:"+data+", name:'"+hostName+"'},");
			}
			String xAxis = "xAxis: {data:["+(xAxisBuf.length() == 0 ? "" : xAxisBuf.substring(0, xAxisBuf.length()-1))+"]}";
			String series = "series : [{name:'网站表现',type:'bar',data:["+(seriesBuf.length() == 0 ? "" : seriesBuf.substring(0,seriesBuf.length()-1))+"]}]";
		  
			
			//整合
			Map<String,String> resultMap = new HashMap<String,String>();
			resultMap.put("date", dateStr);
			resultMap.put("title", 	"title : {text: '"+title+"',subtext: '',x:'center'}");
			resultMap.put("xAxis", xAxis);
			resultMap.put("series", series);
			//转发
			request.setAttribute("map", resultMap);
			request.getRequestDispatcher("/app03.jsp").forward(request,response);
			
		} catch (Exception e) {
			e.printStackTrace();
			throw new RuntimeException(e);
		}
	}

	public void doPost(HttpServletRequest request, HttpServletResponse response)
			throws ServletException, IOException {
		doGet(request,response);
	}

}

 

public class APP04Servlet extends HttpServlet {

	public void doGet(HttpServletRequest request, HttpServletResponse response)
			throws ServletException, IOException {
		String hostname = new String(request.getParameter("hostname").getBytes("iso8859-1"),"utf-8");
		String dateStr = request.getParameter("date");
		int type = Integer.parseInt(request.getParameter("type"));
		
		try {

			String sql = null;
			String title = null;
			switch (type) {
				case 1://尝试次数
					title = hostname+"网站尝试次数top10";
					sql = "select " +
							"host,DATE_FORMAT(hourid,'%H') hour,sum(attempts) su " +
							"from D_H_HTTP_HOST " +
							"group by host,hour " +
							"having host ='"+ hostname +"'" +
							"order by su desc ";
					break;
				default:
					throw new RuntimeException("未知操作码");
			}
			
			//查询数据库
			QueryRunner runner = new QueryRunner(DBUtils.getSource());
			List<Map<String, Object>> list = runner.query(sql, new MapListHandler());
			
			//处理结果 -- 横轴
			StringBuffer xAxisBuf = new StringBuffer();
			//处理结果 -- 数据
			StringBuffer seriesBuf = new StringBuffer();
			
			int sum = 0;
			for(Map<String,Object> m : list){
				String hour = (String) m.get("hour");
				xAxisBuf.append("'"+hour+"',");
				
				int data = ((BigDecimal) m.get("su")).intValue();
				seriesBuf.append("{value:"+data+", name:'"+hour+"'},");
			}
			String xAxis = "xAxis: {data:["+(xAxisBuf.length() == 0 ? "" : xAxisBuf.substring(0, xAxisBuf.length()-1))+"]}";
			String series = "series : [{name:'"+hostname+"网站',type:'line',data:["+(seriesBuf.length() == 0 ? "" : seriesBuf.substring(0,seriesBuf.length()-1))+"]}]";
		  
			
			//整合
			Map<String,String> resultMap = new HashMap<String,String>();
			resultMap.put("date", dateStr);
			resultMap.put("title", 	"title : {text: '"+title+"',subtext: '',x:'center'}");
			resultMap.put("xAxis", xAxis);
			resultMap.put("series", series);
			//转发
			request.setAttribute("map", resultMap);
			request.getRequestDispatcher("/app04.jsp").forward(request,response);
			
		} catch (Exception e) {
			e.printStackTrace();
			throw new RuntimeException(e);
		}
	
		
	}

	public void doPost(HttpServletRequest request, HttpServletResponse response)
			throws ServletException, IOException {
		doGet(request, response);
	}

}

 

public class MonitorServlet extends HttpServlet {

	@SuppressWarnings("unused")
	public void doGet(HttpServletRequest request, final HttpServletResponse resp)
			throws ServletException, IOException {
		
		resp.setContentType("text/html;charset=UTF-8");
		
		final CountDownLatch cdl = new CountDownLatch(1);
		ZooKeeper zk =null;
		try {
			if(zk == null){
				zk = new ZooKeeper("192.168.164.129:2181", 2000, new Watcher() {
					public void process(WatchedEvent event) {
						cdl.countDown();
					}
				});
			}
			cdl.await();
			
			List<String> list1 = zk.getChildren("/zebra/engin1", null);
			List<String> list2 = zk.getChildren("/zebra/engin2", null);
			List<String> list = new ArrayList<String>();
			list.addAll(list1);
			list.addAll(list2);
			String s = "";
			for(String str : list){
				s += str;
				s += ",";
			}
			String st = s.substring(0, s.length()-2);
			if(list1!=null && list2 != null){
				resp.getWriter().println(st);
			}
		} catch (Exception e) {
			e.printStackTrace();
		}
	}

	public void doPost(HttpServletRequest request, HttpServletResponse response)
			throws ServletException, IOException {
		doGet(request,response);
	}

}

前端页面实现请到博客资源处下载

相关jar包：

链接：https://pan.baidu.com/s/1zEyTG_VpjUlw5Nj-tL1K0w 
提取码：joi0 

可视化效果展示：

Hadoop之电信日志数据处理（一）------业务简介

Hadoop之电信日志数据处理（二）------mapreducer端处理

Hadoop之电信日志数据处理（三）------创建数据库及数据收集

 

往事流年
关注
专栏目录
数据中台建设方案-基于大数据平台
2301_76549664的博客
03-14 4457
通过对客户大数据应用平台服务需求的理解，根据建设目标、设计原则的多方面考虑，建议采用星环科技Transwarp Data Hub（TDH）大数据基础平台的架构方案，基于Transwarp Operating System（简称TOS）云平台方式部署构建。 通过建立大数据集成平台、大数据计算平台、大数据开发平台及大数据运维平台来满足客户大数据应用平台服务建设的要求。
python处理csv数据-分分快3大小
weixin_37988176的博客
11-01 1149
.NET Core教程.NET Core是Microsoft最新的通用开发平台。它可以在不同的平台上工作，并且已经被重新设计，使.NET变得快速，灵活和现代。A/B测试教程A/B测试是比较两个或分分快3大小更多版本的应用程序或网页的最佳方式之一。 它使您能够确定哪一个性能更好，并且可以产生更好的转换率。 这是分析应用程序或网页以创建更有效的新版本的最简单分分快3大小方法之一。 这是一个简短的教程，...
基于WEB实现的Hadoop集群可视化上传下载增删查改系统
07-28
该项目通过Web野蛮操作实现hadoop的增删查改等功能
python-hadoop-bigdata 大数据-数据可视化
未昔的博客
07-29 989
大数据-数据可视化 大数据处理的数据我们需要将其进行，图形化展示 效果图 js代码 var option1 = { tooltip: {}, legend : { data: ['销量'] }, xAxis:{ data: {{ country }}, }, yAxis: { }, ser.
数据 界面 日志
weixin_34037173的博客
03-25 82
这里只是一种简单而粗糙的想法 既是界面与数据分离。我们都知道，数据的变化经常是没有时间限制的，他可以更新得很快，也可以更新得很慢。 然而我们人眼在界面上所能看到的数据，却是有一个固定频率的，如果界面内容变化过快，对于人来说，是无意义的。 比如说，界面上有一个列表，显示着其他设备发来的数据。一种方法是一接到数据就往屏幕上刷新，这样，如果数据是更新很频繁的，比如这一毫秒是1...
（六）Hadoop实现简单的日志分析
tjpuliang的专栏
04-01 5737
1）创建Maven项目 2）引入依赖 3）编写Hadoop 日志分析相关Job代码 4）导出jar包 5）上传到Hadoop 集群 6）编写Hadoop jar包执行jar包 7）手动执行验证 8）使用后台系统远程手动实现分析 9）使用定时任务实现定时分析 ...
hadoop单机版安装及基本功能演示
weixin_30617737的博客
12-21 101
本文所使用的Linux发行版本为：CentOS Linux release 7.4.1708 (Core) hadoop单机版安装 准备工作 创建用户 useradd -m hadoop passwd hadoop 下载安装包 1.jdk 到官方下载页面http://www.oracle.com/technetwork/java/javase/downloads/index.html，下载jd...
电信设备-基于云服务的信息展示系统及实现方法.zip
09-18
《电信设备-基于云服务的信息展示系统及实现方法》是一个重要的技术主题，它涉及现代通信技术和云计算在信息处理与展示中的应用。在这个领域，我们主要关注如何利用云服务来构建高效、灵活且易于访问的信息展示系统...
大数据驱动的威胁情报技术优化及验证---需求规格说明书.docx
11-25
它通过DPI设备收集网络数据，基于Hadoop的分布式存储和计算框架，分析僵尸网络、Web攻击和URL欺诈等安全事件，实现对网络安全状况的深入理解，为网络运营管理人员提供可视化分析工具。 2.2 平台功能 - 僵尸网络检测...
如何使用Hadoop实现数据的分布式处理
# 1. Hadoop简介 ## 1.1 什么是Hadoop Hadoop是一个开源的分布式计算框架，主要...- 高性能：通过将数据分布到集群的各个节点上并进行并行计算，大大提高了数据处理速度。 - 适应多种数据类型：不仅适用于结构化数据
基于Hadoop实现大数据可视化分析的Web系统源码+项目说明+sql数据库.zip
最新发布
12-28
【资源说明】 基于Hadoop实现大数据可视化分析的Web系统源码+项目说明+sql数据库.zip 1.本项目利用Hadoop处理高校无线定位大数据,有效地将位置信息应用于学生时空行为模式挖掘，建立基于精准位置信息的行为数据挖掘计算模型。 2.基于Hadoop计算平台，并实现对大数据进行可视化分析的Web系统,采用ssm+mysql技术。 3.利用一些合适的算法实现校园热点区域提取、学生异常轨迹探测、人流迁徙分析及学生时空行为相似性分析推测等功能。  4.基于学校地图API和echarts插件可视化展现。 校园热点区域提取 采用基本的K-means算法，然后在校园地图上使用热力图形式呈现 学生异常轨迹探测 采用地理接口，筛选出不在建筑物范围内的定点。 人流迁徙分析 从wifi定点数据中根据用户特性、时间特性、建筑特性，归纳出有效完整轨迹，之后采用分段轨迹聚类算法，分析校内人员轨迹迁徙状况。 在地图上使用echarts插件里的迁徙图在校园地图上动态呈现校园人群迁徙分布。 学生时空行为相似性分析推测等功能 采用基本的Word2Vec的Skip-Gram模型用于计算人员的基于时空行为的相似人群，根据人员的脱敏信息，进行分析与预测。 使用该算法的主要工作就是基于WiFi定位数据构建自己的“语料库”。 为什么可以采用Word2Vec的Skip-Gram模型的原因： 解决用户时空行为相似问题 一种行为的所有用户（学号） -> 分词处理后一段语言文字 每个用户（学号）-> 每个关键词 用户之间的亲密程度 -> 关键词相近概率 可视化web端项目 特点： 1.实现了在自己指定的地图范围上使用echerts插件，实现热力图，迁徙图。 2.基于wifi定位数据，使用了K-means算法、Word2Vec算法、轨迹分段聚类算法。 3.基于真实数据的课题实践。 4.Hadoop分布式计算的应用。 【备注】 1.项目代码均经过功能验证ok，确保稳定可靠运行。欢迎下载使用体验！ 2.主要针对各个计算机相关专业，包括计算机科学、信息安全、数据科学与大数据技术、人工智能、通信、物联网等领域的在校学生、专业教师、企业员工。 3.项目具有丰富的拓展空间，不仅可作为入门进阶，也可直接作为毕设、课程设计、大作业、初期项目立项演示等用途。 4.当然也鼓励大家基于此进行二次开发。在使用过程中，如有问题或建议，请及时沟通。 5.期待你能在项目中找到乐趣和灵感，也欢迎你的分享和反馈！
30个数据可视化超级工具
06-23
大量繁杂的数据在经过可视化工具处理后，就能以图形化的形式展现在用户面前，清晰直观。随着各种数据的增加，这种可视化工具越来越得到开发者们的欢迎。本文向大家推荐 30 款数据可视化工具
数据分析师数据可视化案例
01-15
大数据分析师，数据分析，大数据可视化。大容量的数据
大数据。基于hadoop的网站日志分析系统（附带web展示页面）
04-17
基于Hbase的网站日志分析系统（附带web展示页面） 基于Hbase的网站日志分析系统（附带web展示页面）基于Hbase的网站日志分析系统（附带web展示页面）
hadoop搭建以及实例演示
libochun3217的专栏
05-29 1266
1.下载jdk和hadoop，并解压至/opt 2.配置环境变量：gedit /etc/profile最后面添加：export PATH="$PATH:/opt/hadoop-0.20.2/bin:/opt/jdk1.7.0_21/bin" 3.配置在/opt/hadoop-0.20.2/conf下的3个文件： gedit hadoop-env.sh 打开java环境变量： export J
linux hadoop实例应用,Hadoop搭建以及实例演示
weixin_28952471的博客
05-13 178
Hadoop搭建以及实例演示1.下载jdk和hadoop，并解压至/opt2.配置环境变量：gedit /etc/profile最后面添加：export PATH="$PATH:/opt/hadoop-0.20.2/bin:/opt/jdk1.7.0_21/bin"3.配置在/opt/hadoop-0.20.2/conf下的3个文件： gedit hadoop-env.sh打开java环境变量： ...
hadoop集群部署——————大数据分析及其可视化3
weixin_53472653的博客
11-21 1785
在完成网卡的配置以及免密登录后我们可以开始hadoop集群部署了 安装虚拟机+网卡设置 免密登录 在主节点namenod1下进入/software/hadoop节点下 新建tmp和dfs文件夹 进入dfs下新建2个文件夹 然后退出dfs文件夹进入hadoop文件 路径/software/hadoop/etc/hadoop/ 打开 修改25行为 export JAVA_HOME=/java/jdk1.8.0_65（这里需要导入jdk的路径根据自己的路径我的是在java文件...
基于Hadoop集群实现数据处理及可视化展示
m0_52940881的博客
12-13 1683
后续会将文章写出来，我这个项目的主题是疫情（虽然疫情快结束了，主要是分享思路，祝大家身体健康），数据来源于百度疫情（世界和我国各城市相关疫情数据）和一个私人的疫情网站（我国近十天的历史疫情数据），页面比较简陋，因为本人前端的功底比较薄弱。在以上基础上，可设置Linux的定时程序组合命令，实现实时爬取监控。1.部署爬虫到虚拟机（先在虚拟机中配置python环境）6.上传springboot项目到服务器，在线展示。3.编写mapreduce排序，去空值，规范数据。
Hadoop优化的FP-Growth并行算法提升大数据处理效率
在这个新的算法中，他们将原始事务数据集通过负载均衡和数据分割的方式进行划分，实现了数据的并行处理。负载均衡技术确保了各个节点的任务分配相对均匀，避免了某些节点过载，而数据分割则将大文件切分成更小的部分...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值