![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据项目实战
碣石观海
幸甚至哉,歌以咏志
展开
-
利用纯真IP数据库解析IP地址位置信息
------------本文笔记整理自《Hadoop海量数据处理:技术详解与项目实战》范东来1.代码文件 IpParser.java 编码方式为 UTF-8,而纯真数据库文件qqwry.dat编码为GBK,故把getStr()方法的返回参数设置为GBK,否则乱码。2. 最后main()中有测试用例,可直接运行。3. 纯真IP地址数据库下载地址:http://www.cz88.net/...原创 2019-05-22 00:08:31 · 2294 阅读 · 6 评论 -
Apache服务器日志Log解析
------------本文笔记整理自《Hadoop海量数据处理:技术详解与项目实战》范东来一、Apache服务器日志信息组成说明1. group-0 是一条初始的log日志信息;2. group-1 ~ group-15 是对该条日志正则解析后的结果。一条原始log日志: group-0 : 120.196.145.58 - - [11/Dec/2013:10:00:32 +...原创 2019-05-22 00:37:22 · 2808 阅读 · 0 评论 -
日志解析LogParser类的工厂注册单例模式实现(线程安全)
一、LogParserFactory的实现1.为每个调用线程分配一个唯一的LogParser(日志解析)对象,以使在线程内部重复使用;以键值对<Thread, LogParser>形式注册到同一内存的Map中。2.为每个调用对象(如:MR中的Mapper处理类)分配一个唯一的LogParser(日志解析)对象,以使在对象内部重复使用;以键值对<Object, LogPa...原创 2019-05-22 15:32:31 · 203 阅读 · 0 评论 -
《在线图书销售商业智能系统》流程框架实现
项目整理自:《Hadoop海量数据处理:技术详解与项目实战》范东来对应的电子书地址:https://pan.baidu.com/s/1JKmcgpyBBcrvhT7h8ZK3Pw 提取码:pzqa 所在目录:"我的书籍\大数据生态\Hadoop\Hadoop海量数据处理 技术...原创 2019-05-29 00:16:10 · 473 阅读 · 0 评论 -
《Spark实时词频统计处理系统》
------此项目整理自《Spark Streaming 实时流式大数据处理实战》肖力涛 第8章 实时词频统计处理系统实战原书源码地址:https://github.com/xlturing/spark-streaming-action/tree/master/code/第8章本文源码地址:https:...原创 2019-06-28 23:52:06 · 1814 阅读 · 0 评论 -
《Spark用户行为统计系统》
------此项目整理自《Spark Streaming 实时流式大数据处理实战》肖力涛 第9章 用户行为统计系统原书源码地址:https://github.com/xlturing/spark-streaming-action/tree/master/code/第9章本文源码地址:https://gi...原创 2019-07-05 23:57:24 · 821 阅读 · 0 评论 -
《Spark用户评论监控实时报警系统》
------此项目整理自《Spark Streaming 实时流式大数据处理实战》肖力涛 第10章 监控报警系统实战原书源码地址:https://github.com/xlturing/spark-streaming-action/tree/master/code/第10章本文源码地址:https://...原创 2019-07-16 22:07:15 · 2626 阅读 · 1 评论