![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop笔记
永远在背八股文
这个作者很懒,什么都没留下…
展开
-
数仓常见端口汇总:
Hadoop:50070:HDFS WEB UI端口8020 : 高可用的HDFS RPC端口9000 : 非高可用的HDFS RPC端口8088 : Yarn 的WEB UI 接口8485 : JournalNode 的RPC端口8019 : ZKFC端口19888:jobhistory WEB UI端口Zookeeper:2181 : 客户端连接zookeeper的端口2888 : zookeeper集群内通讯使用,Leader监听此端口3888 : zookeeper端口 用于原创 2021-09-09 09:49:13 · 206 阅读 · 0 评论 -
Hadoop 集群启动/停止
Hadoop 集群启动/停止方式整体启动/停止 HDFSstart-dfs.sh/stop-dfs.sh整体启动/停止 YARNstart-yarn.sh/stop-yarn.sh 启动/停止 HDFS 组件hdfs --daemon start/stop namenode/datanode/secondarynamenode启动/停止 YARN 组件yarn --daemon start/stop resourcemanager/nodemanager 启原创 2021-08-11 16:34:11 · 56 阅读 · 0 评论 -
HDFS 的 Shell 操作
HDFS 的 Shell 操作类似于linux操作命令 只需要命令前加上hadoop fs - 或者 **hdfs dfs -**即可 创建文件夹hadoop fs -mkdir /photo上传文件hadoop fs -put 1.png /photo下载文件hadoop fs -get /photo/1.png ./查看文件hadoop fs -ls /photo拷贝文件 hadoop fs -cp /photo/1.png /移动文件 hadoop fs原创 2021-08-11 17:09:02 · 103 阅读 · 0 评论 -
HDFS 的 API 操作
// 获取文件系统 Configuration configuration = new Configuration(); FileSystem fs = FileSystem.get(new URI("hdfs://hadoop:8020"), configuration,"root"); // 创建目录 if (!fs.exists(new Path("/photo"))){ fs.mkdirs(new Path..原创 2021-08-11 18:40:14 · 49 阅读 · 0 评论