![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
(大数据方向)分布式实验
文章平均质量分 87
基础的hadoop等搭建教程
Java从跨平台到跨行业
待我化为尘
你可以看到我的笑容
展开
-
(大数据方向)分布式实验七:HBase数据库搭建以及常用命令
一、HBase简介HBase是一个基于Hadoop的分布式、可扩展、支持大数据存储的数据库。数据模型HBase采用表来组织数据,采用命名空间(NameSpace)对表进行逻辑分组。NameSpace: 命名空间,类似于mysql中的database,默认有default和hbase,用户表默认在default中表:HBase采用表来组织数据,表由行和列组成,列划分为若干个列族。行:每个HBase表都由若干行组成,每个行由可排序的**行键(row key)**来标识。列:采用列族:原创 2022-03-29 06:25:44 · 3371 阅读 · 0 评论 -
(大数据方向)分布式实验六:mapreduce编程实践
注意:此次编程实践,在伪分布式上实践,所以首先需要启动伪分布式的节点start-dfs.sh一.新建项目使用xftp导入相关配置文件配置文件 mapred-site.xml yarn-site.xml hdfs-site.xml core-site.xml jar包 hadoop_jars(在实验eclipse中已创建好) 使用xftp导入到自己所建项目的src目录下...原创 2022-03-24 23:25:30 · 2470 阅读 · 0 评论 -
(大数据方向)分布式实验五:mapreduce高可用环境配置(Yarn resouceManager HA)
目录Mapreduce是什么集群环境说明一.伪分布式(单节点)配置修改(1)mapred-site.xml(2)yarn-site.xml二.完全分布式(高可用)配置修改(1)mapred-site.xml(2) yarn-site.xml(3)分发节点(4)免密钥(5)启动相关进程启动zookeeper启动journalnode启动hdfs 启动yarn 启动resou...原创 2022-03-24 04:57:17 · 1943 阅读 · 0 评论 -
(大数据方向)分布式实验四:配置eclipse编程环境
目录一.hdfs常用操作指令二.配置eclipse编程环境1.所需工具:①centos②伪分布式搭建③eclipse④hadoop⑤hadoop-lib包⑥bin文件⑦可视化插件⑧xftp传输工具2.Eclipse环境配置(1)解压文件(2)环境变量(3)复制bin目录(4)解压mars(5)启动hadoop(6)启动 eclipse(7)配置 eclipse(8)新建java项目(9)使用xftp导入配置文...原创 2022-03-22 19:20:36 · 2467 阅读 · 0 评论 -
(大数据方向)分布式实验三:高可用搭建
注:本例中20192697-2~20192697-5为hadoop集群 这篇博客实在上一篇完全分布式的基础上进行的搭建,免除了克隆虚拟机等一些步骤详情请见完全分布式目录一.免密钥二. 配置文件(1)core-xite.xml(2)hdfs-site.xml(3)分发配置文件三.安装zookeeper(1)解压zookeeper(2)配置zookeeper(3)修改zoo.cfg文件(4)分发节点(5)Myid(6...原创 2022-03-21 19:38:45 · 1739 阅读 · 0 评论 -
(大数据方向)分布式实验二:搭建完全分布式
目录分布式相关概念:(1)什么是分布式文件系统:(2)分布式文件系统的结构:(3)主,从节点各自的职责:(4)大致物理结构图:Hadoop完全分布式搭建搭建需知第一步:拍摄快照并克隆虚拟机第二步:对这四台虚拟机进行网络配置第三步:同步时间并更改四台虚拟机的主机名第四步:设置免密钥登陆第五步:hadoop配置(1)core-site.xml(2)hdfs-site.xml(3)slaves(4)传输文件(5)格式化(6)启动...原创 2022-03-21 00:08:51 · 2416 阅读 · 1 评论 -
(大数据方向)分布式实验一:基于CentOS的伪分布式搭建
hadoop伪分布式搭建(基础)原创 2022-03-19 23:06:52 · 2684 阅读 · 0 评论