- 博客(4)
- 收藏
- 关注
原创 centos7搭建hbase集群实验(三节点)
学习目标:centos7搭建hbase集群学习内容:详细步骤1、配置虚拟机静态ip2、配置免密连接登录3、java安装及环境配置4、hadoop集群安装配置5、zookeeper集群安装配置6、hbase集群安装配置一、配置虚拟机静态ipcentos7的网络IP地址配置文件在 /etc/sysconfig/network-scripts 文件夹下,修改的配置文件为ifcfg-ens**,可能ifcfg-ens之后的编号不同,我这里是ifcfg-ens33。[root@localh
2020-10-03 11:13:25
529
原创 使用IDEA进行scala打包运行
前言IDEA的安装、创建maven工程和scala编程不是本文的重点,这里主要介绍打包并放至spark集群上运行的方法。(具体安装和配置操作的参考链接:https://blog.csdn.net/s863222424/article/details/102979162具体步骤创建一个scala class文件,写上一段简单的scala代码。package main.scalaobj...
2020-01-10 10:18:16
3634
原创 Hadoop之利用mapreduce输出祖孙关系
一、总体解析:1.需求实例中给出child-parent(孩子——父母)表,要求输出grandchild-grandparent(孙子——爷奶)表。数据如下:A1,A2B1,A2B2,A31A2,A31A2,A32A31,A412.实现思路核心实现思路:(1)在Map阶段,分别将父子关系与相反的子父关系在各个value前补上前缀"-“与”+"标识此key-value中的va...
2020-01-10 09:22:09
4177
原创 FileBeat+Kafka+Flink+Redis之数据一条龙差一点服务
FileBeat+Kafka+Flink+Redis之数据一条龙差一点服务一、任务概况 大概模仿一下流数据的产生(通过脚本定时生成)、传递(通过FileBeat监控double11.log文件并实时传送给kafka)、处理(通过kafka传递过来的数据交给Flink进行统计)、存储(用java实现连接Redis并存储。 模仿的事例过程是很简化的天猫双11实时交易的流程。二、具体实现...
2020-01-08 00:03:15
1308
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人