大数据
vitahao
乐观,自信,爱
展开
-
新闻网大数据实时系统项目(基于Spark2.2)
基于Spark2.2新闻网大数据实时系统项目1. 说明项目代码是参考基于Spark2.x新闻网大数据实时分析可视化系统项目 或者大数据项目实战之新闻话题的实时统计分析,谢谢作者分享心得!2.环境配置2.1 CDH-5.14.2 (安装步骤可参考地址),关于版本是按实际操作, CDH的版本兼容性很好。Servicehadoop01hadoop02hadoop03HD...原创 2019-03-29 10:57:00 · 2707 阅读 · 1 评论 -
Structured Streaming + Kafka 集成 + Redis管理Offset(Kafka broker version 0.10.0 or high)
Structured Streaming + Kafka 集成 + Redis管理Offset(Kafka broker version 0.10.0 or high)Google一下发现 Structured Streaming + Kafka集成,记录Offset的文章挺少的,我自己摸索一下,写了一个DEMO。Github地址1. 准备配置起始和结束的offset值(默认)Schema...原创 2019-04-03 14:31:59 · 2004 阅读 · 3 评论 -
基于Docker, 整合Storm&Kafka&Hbase的完整性Wordcount DEMO
kafka & storm & hbase & docker(Wordcount DEMO)kafka作为分布式消息系统,实时大吞吐量消息系统;storm作为大数据的实时处理系统;hbase是apache hadoop 的数据库,其具有高效的读写性能,而且针对分布式设计docker 目前非常火的,高可用应用容器引擎一、说明基于docker的容器集群,管理h...原创 2019-04-03 14:54:10 · 554 阅读 · 0 评论 -
基于Docker搭建Hadoop集群(用于学习)
说明在参考 博客: [基于Docker搭建Hadoop集群之升级版] 前提下从Ubuntu 更改成 Centos7 (http://kiwenlau.com/2016/06/12/160612-hadoop-cluster-docker-update/)操作流程1. pull docker 镜像sudo docker pull kiwenlau/hadoop:1.02. clone...原创 2019-04-03 15:10:02 · 865 阅读 · 0 评论