![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
RatexMat
电子信息工程在读本科
展开
-
基于Ubuntu的Hadoop集群伪分布式配置与基础hadoop操作
参考教程:林子雨老师教程 系统平台:Ubuntu 18.04 64位 虚拟机:VMware 15Pro hadoop3.1.3:hadoop3.1.3清华源 java:jdk-8u231-linux-x64.tar.gz (该java版本已经过了有效期,但是鉴于版本的稳定性,本次配置仍然使用该版本。) 安装Hadoop 创建hadoop用户 新建hadoop用户 sudo useradd -m hadoop -s /bin/bash 设置hadoop密码并赋予sudo权限 sudo passwd ha原创 2020-06-23 23:09:07 · 456 阅读 · 0 评论 -
基于Hadoop集群的Flume实例二例
Flume实例 实例来源: 《Hadoop+Spark大数据技术》——刘彬斌,清华大学出版社 实例一:实时测试客户端传输的数据 在Slave001中创建netcat.conf: cd ~ vi netcat.conf 添加以下内容: # Name the components on this agent agent.sources = seqGenSrc agent.sinks = logg...原创 2019-12-22 21:22:49 · 233 阅读 · 0 评论 -
HDFS常用命令及基于Hadoop集群的Flume架构搭建
HDFS常用命令 1、version hadoop version 用于打印Hadoop版本信息。 2、dfsadmin hadoop dfsadmin -report 用于查看集群存储空间使用情况及各节点存储空间使用情况。 3、fs命令 fs命令包下是hadoop内置的对于hadoop文件系统的各项操作,具体主要包括: 命令 作用 -cat 显示该文件的具体内容 -...原创 2019-12-22 20:21:02 · 290 阅读 · 0 评论 -
基于CentOS的Hadoop集群配置
Hadoop分布式系统搭建配置 Hadoop是什么 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。 系统环境 CentOS 7 环境搭建 上一篇文章写到CentOS安装...原创 2019-11-30 14:48:12 · 569 阅读 · 0 评论