hadoop
hadoop学习
江湖行骗老中医
相信自己!
展开
-
HDFS客户端环境准备
1、根据自己电脑的操作系统拷贝对应的编译后的hadoop jar包到非中文路径(例如:D:\Develop\hadoop-2.7.2)文件夹内有win10下编译过的hadoop jar包解压到安装目录即可2、配置HADOOP_HOME环境变量HADOOP_HOME D:\Develop\hadoop-2.7.2系统path新建:%HADOOP_HOME...原创 2020-04-26 22:14:58 · 217 阅读 · 0 评论 -
HDFS的Shell操作
Hadoop fs 命令分类使用方法:hadoop hdfs -put 源文件地址 上传地址本地-》HDFS put //从本地上传 copyFromLocal //从本地上传,原文件保留,和put一样,我使用put moveFromLocal //从本地上传,原文件不保留,就是剪切 appendToFile //往文件中追加数据HDFS-》HDF...原创 2020-04-25 21:18:20 · 182 阅读 · 0 评论 -
Hadoop安装和配置
注意:安装JDK类似,解压后配置环境变量0. Hadoop下载地址:https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/1. 用SecureCRT工具将hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面切换到sftp连接页面,选择Linux下编译的hadoop jar包拖入,如图...原创 2020-04-11 15:36:38 · 1640 阅读 · 0 评论 -
yarn和kafka在整个hadoop中是一个怎样的角色?
问题:1、yarn和kafka在整个hadoop集群中是一个怎么的角色,对于整个集群来说起到一个什么作用?2、知道yarn是作为资源分配的 它是怎么分配给hdfs资源的?3、yarn、kafka和zookeeper之间有什么最用关系?是yarn和kafka受zookeeper控制吗?4、kafka和hdfs有什么作用关系?5、老师有一个整个集群的工作流程图吗 ,各个部件的作用关系的思维...转载 2020-03-15 20:14:21 · 1986 阅读 · 0 评论