- 博客(4)
- 收藏
- 关注
RSS订阅原创 centos7搭建hbase集群实验（三节点）
学习目标：centos7搭建hbase集群学习内容：详细步骤1、配置虚拟机静态ip2、配置免密连接登录3、java安装及环境配置4、hadoop集群安装配置5、zookeeper集群安装配置6、hbase集群安装配置一、配置虚拟机静态ipcentos7的网络IP地址配置文件在 /etc/sysconfig/network-scripts 文件夹下，修改的配置文件为ifcfg-ens**，可能ifcfg-ens之后的编号不同，我这里是ifcfg-ens33。[root@localh
2020-10-03 11:13:25
498
原创 使用IDEA进行scala打包运行
前言IDEA的安装、创建maven工程和scala编程不是本文的重点，这里主要介绍打包并放至spark集群上运行的方法。（具体安装和配置操作的参考链接：https://blog.csdn.net/s863222424/article/details/102979162具体步骤创建一个scala class文件，写上一段简单的scala代码。package main.scalaobj...
2020-01-10 10:18:16
3569
原创 Hadoop之利用mapreduce输出祖孙关系
一、总体解析：1.需求实例中给出child-parent（孩子——父母）表，要求输出grandchild-grandparent（孙子——爷奶）表。数据如下：A1,A2B1,A2B2,A31A2,A31A2,A32A31,A412.实现思路核心实现思路：（1）在Map阶段，分别将父子关系与相反的子父关系在各个value前补上前缀"-“与”+"标识此key-value中的va...
2020-01-10 09:22:09
4099
原创 FileBeat+Kafka+Flink+Redis之数据一条龙差一点服务
FileBeat+Kafka+Flink+Redis之数据一条龙差一点服务一、任务概况 大概模仿一下流数据的产生（通过脚本定时生成）、传递（通过FileBeat监控double11.log文件并实时传送给kafka）、处理（通过kafka传递过来的数据交给Flink进行统计）、存储（用java实现连接Redis并存储。 模仿的事例过程是很简化的天猫双11实时交易的流程。二、具体实现...
2020-01-08 00:03:15
1258
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人