- 博客(7)
- 收藏
- 关注
原创 RabbitMq安装使用教程(入门级)
RabbitMq学习(windows)1、安装Erlang下载地址:https://www.erlang.org/downloads,本文选择OTP 21.0.1 Windows 64-bit Binary File (91707927)设置环境变量,新建ERLANG_HOME修改环境变量path,增加Erlang变量至path,%ERLANG_HOME%\bin;打开cmd命令框,输入erl2、安装rabbitmqhttps://www.rabbitmq.com/download.html
2020-07-13 15:52:01
402
原创 HBase 完全分布式集群搭建
准备工作启动之前搭建的Hadoop完全分布式集群ZooKeeper集群服务运行正常HDFS集群服务运行正常环境搭建时钟同步注意: HBase集群节点和节点之间的时间误差最大允许为30s,如果大于30s需要对集群内的节点进行时间同步[root@nodex ~]# date2019年 08月 20日 星期二 17:13:53 CST[root@nodex ~]# date...
2019-10-15 09:28:55
136
原创 HBase入门学习
一、概述Apache HBase 是Hadoop数据库,一个分布式、可伸缩的大数据存储。当需要对大数据进行随机、实时的读写访问时,请使用Apache HBase™。该项目的目标是在普通硬件集群上托管非常大的表(数十亿行X数百万列)。Apache HBase是一个开源的、分布式的、版本化的、非关系型数据库,它模仿了谷歌的Bigtable:一个用于结构化数据的分布式存储系统。正如Bigta...
2019-10-14 21:21:35
296
原创 SparkSQL入门学习
Spark SQLSpark SQL是构建在Spark RDD之上一款ETL(Extract Transformation Load)工具(类似Hive-1.x-构建在MapReduce之上)。同Spark RDD 不同地方在于Spark SQL的API可以给Spark计算引擎提供更多的信息(计算数据结构、转换算子),Spark计算引擎可以根据SparkSQL提供的信息优化底层计算任务。目前...
2019-10-10 21:55:38
1198
1
原创 Apache Flume基础学习
Apache Flumeflume官网>>>一、Flume 概述Flume是一个分布式、可靠的、高可用的高效的日志数据收集、聚合以及传输系统。它简单灵活的架构是基于数据流的、Flume是具备强大的容错保障机制、有多种容错和恢复保障。Flume使用简单可扩展的数据模型允许开发在线分析处理应用。二、Flume架构1、Flume Event事件对象,被定义为数据流中...
2019-10-02 13:03:55
234
原创 MapReduce程序的运行流程
MapReduce程序运行流程图MppReduce运行大致分为12步1.Runjar 启动Job(MapReduce程序)2.Job向ResouceManager 获取id3.拷贝resource(任务的Jar包/任务的配置/分片等信息)到HDFS中4.真正的提交任务(该步骤之后的操作全部在YANG集群中进行)5.在空闲的NodeManager Node中启动一个容器Node Man...
2019-08-16 19:42:03
195
原创 HDFS在Linux上的配置
全部基于伪分布式(Pseudo-Distributed)进行学习 Linux环境搭建1.环境搭建(1)安装CentOS 7版本(2)安装完成 配置网卡信息vi /etc/sysconfig/network-scripts/ifcfg-ens33–最后一行的ONBOOT改为yes(3)重启网络服务systemctl restart(4)关闭防火墙systemctl stop f...
2019-08-12 21:49:29
401
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人