大数据
文章平均质量分 90
Hadoop, MapReduce, HDFS, Hive, Hbase, Spark, Storm, flink, flume...
XYZip2
技术需要亲自实践,不断沉淀,方能有所提升
展开
-
VM安装配置及SSH连接
官网下载VM WorkStation下载 VMware Workstation Pro | CN安装VM WorkStation下载后运行exe安装文件,下一步,接受协议许可,更改安装目录位置(注意:安装软件尽量不要选择系统盘,不要使用中文目录或带有空格的目录)破解VM WorkStation 对照安装版本自行百度破解密钥,输入许可证密钥即可 运行安装完毕的VMwareWorkstation, 点击菜单栏帮助->关于,可以查看破解情况 下载操作系统镜像 下载虚拟机操作系统原创 2021-09-25 18:42:55 · 4482 阅读 · 0 评论 -
flume日志采集,hbase数据存储,hive查询输出(简单集成)
本文简要介绍用flume做日志采集,然后用hbase做数据存储,最后通过hive查询数据输出文件的一种过程模式。流程如下图: 假定:mysql已安装并启动,hadoop及zookeeper集群已安装部署并启动。一、flume 日志采集 1. flume分布式安装(略) 本文采用apache-flume-1.9.0,一主两从搭建,通过负载均衡方式将采集到的日志输入hbase存储...原创 2020-12-23 20:48:12 · 772 阅读 · 0 评论 -
Hadoop集群搭建
0. 环境条件 (基于以下版本 且 ssh 授信免密登录已设置):1.下载安装包 cd /usr/local wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz tar zvxfhadoop-2.10.1.tar.gz2.关闭系统防火墙及内核防火墙 #Master、Slave1、Slave2 systemctl stop f...原创 2020-11-12 19:46:01 · 145 阅读 · 0 评论