xcvbxv01的博客

一、自定义hive时间函数------------------------------------------------------------- 1.创建新模块app-logs-hive，添加maven模块 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://m...

一、flume + kafka进行日志收集---------------------------------------------------------- 1.在集群上每台nginx服务器安装flume. 2.配置flume,并分发 使用spooldir做为source，监控/soft/nginx/logs/flume文件夹。 [/soft...

一、完善用户信息，实现用户注册和验证-------------------------------------------------------- 0.更新pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM...

一、术语介绍-------------------------------------------------------------- 1.KPI: Key Performance Indicator，关键绩效指标。 2.PV: page view,页面浏览量 100000 --> 1G日志 //一般网站(每天) 10...

一、需求分析------------------------------------------ 1.对用户访问session进行分析 2.JDBC辅助类封装 3.用户访问session聚合统计 4.按时间比例随机抽取session 5.获取点击、下单和支付次数排名前10的品类 6.获取top10品类的点击次数最多的10个session ...

一、使用hive load hdfs上的清洗的数据。 4861 + 9666--------------------------------------------- ---------------------- 1.动态添加表分区 $hive> alter table eshop.logs add partition(year=2018,month=11,day=25...

一、创建hive分区表---------------------------------------------------- 1.创建数据库 $hive> create database applogsdb; 2.创建分区表 编写脚本。 [applogs_create_table.sql] use applogsdb; ...

一、修改kafka数据在主题中的贮存时间，默认是7天------------------------------------------------- [kafka/conf/server.properties] log.retention.hours=1二、使用hive进行聚合查询---------------------------------------------...

一、查询用户最近的通话信息-------------------------------------------- 1.实现分析 使用ssm可视界面提供查询串 -- controller连接 hiveserver2 -- 将命令转化成hsql语句 -- hive绑定hbase,进行MR聚合查询 2.启动yarn集群 以及其高可用 a.$s100...

一、前端实现 -- 按照时间段查询通话记录----------------------------------------- 1.完善calllog的dao类calllog.class ---------------------------------------------- package com.it18zhang.ssm.domain; ...

一、项目简介---------------------------------------------- 1.hadoop+hbase+flume+zookeeper实现电信级海量通话日志数据的存储，随机 访问与实时读写。通过hash技术对rowkey进行分析处理，解决hbase的热点问题，协同 coprocessor，解决系统的高吞吐量和查询负载问题以及如何避免中间...

一、制作可视化界面----------------------------------------------------------------- 1.StatController.class 添加方法 @RequestMapping("/index") public String toStatPage(){ return "index...

一、用户画像项目分析------------------------------------------------------- 1.概念 用户画像也叫用户信息标签化、客户信息。 根据用户的信息和行为动作，用一些标签把用户描绘出来，描绘的标签就是用户画像。 2.项目简介 通过手机安装的app，判断机主的年龄区间和性别 通过对a...

一、项目介绍------------------------------------------------- 1.App开发商 每个开发商可以有多个App产品 2.App软件 3.数据服务平台提供商 Umeng， 向App开发商提供服务。提供App使用情况的统计服务。 4.SDK 数据服务平台提供商提供给App开发...

一、目前出现的BUG解决------------------------------------------------------------- 1.hive命令启动时出现假死机 有可能是两个namenode都处于standby状态。 2.hive的UDF函数找不到问题 a.注册函数，使用using jar方式在hdfs上引用udf库。 ...

一、引入GeoLite2-City，获取手机真实ip地址----------------------------------------------------------- 1.下载GeoLite数据库文件 GeoLite2-City.mmdb 2.引入pom.xml <dependency> <gr...

一、Centos安装nginx s100 - s400--------------------------------------------------------------- 1.在win7安装nginx 解压即可(任何目录即可)。 2.在centos上安装nginx a)先安装G++ $>sudo yum install ...

一、项目初始化------------------------------------------------------------ 1.IDEA配置tomcat服务器 idea - > settings -> application servers --> + --> tomcat安装目录. 2.创建idea的新工程EShop ...