![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
RZ
RZ
虎虎1232
这个作者很懒,什么都没留下…
展开
-
Hadoop部署文档
文章目录1. 先在阿里云主机按量付费配置三台主机2.软件版本3.集群规划4.集群目录结构5.环境准备6.安装 Zookeeper7. 安装 Hadoop(NameNode HA+ResourceManager HA)8.启动集群(第一次系统启动,需要初始化)遇到的问题1. 先在阿里云主机按量付费配置三台主机这三台阿里云主机作为三台集群的服务器,配置为2核,内存8G,centos 7.22....原创 2019-08-21 00:45:50 · 555 阅读 · 1 评论 -
hdfs整理
文章目录1.hdfs ha架构图梳理2.yarn ha架构图梳理3.总结hdfs yarn ha架构区别4.hdfs dfs -ls 结果是哪个目录5.双写的理解6.小文件的理解 什么的小文件,危害,如何避免(产生前,产生后)7.主从架构的hbase读写经过master进程吗?1.hdfs ha架构图梳理2.yarn ha架构图梳理3.总结hdfs yarn ha架构区别4.hdfs df...原创 2019-08-21 19:59:12 · 282 阅读 · 1 评论 -
hadoop整理01
文章目录1.hdfs yarn常用命令整理2.整理故障案例3.预习 压缩哪几种,编译后的 执行 hadoop checknative 命令 输出结果是什么?为什么用snappy4.ruozedata002 standby节点机器上, 能不能直接读 hdfs dfs -ls hdfs://ruozedata002:8020/ ? 能不能直接写 hdfs dfs -put xxx.log hdfs:/...原创 2019-08-21 20:41:59 · 94 阅读 · 0 评论 -
hdfs 文件夹/文件名 rename
文章目录需求:1.先在hdfs中创建目录,上传文件2. code需求:HDFS上的目录结构:20191001这个参数不是写死的,是外面传进去的public static void rename(String time)/ruozedata/20191001/a.txt/ruozedata/20191001/b.txt/ruozedata/20191001/c.txt使用HDFS AP...原创 2019-08-27 13:16:10 · 2291 阅读 · 0 评论 -
note5-hdfs & mr api
文章目录1.部署idea2. idea创建hdfs目录遇到权限问题:owner问题3.copyFromLocalFile副本数不一样(hdfs-site.xml)4.通过流的方式(文件块的合并)5.MRwordcountlongWritable无默认构造方法-报错自定义的类一定要实现writable接口6.自定义序列化类的开发步骤补充单元测试core-site.xml里有配置端口1.部署idea...原创 2019-08-27 01:34:37 · 118 阅读 · 0 评论