![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
虎虎1232
这个作者很懒,什么都没留下…
展开
-
hadoop之初识
文章目录1.Hadoop简介2.Hadoop的组成1.HDFS2.MAPREDUCE3.YARN3.HDFS3.1 HDFS 1.x3.2 HDFS 2.x4.Hdfs常用的shell命令1.Hadoop简介hadoop官网:在官网的第一句话,显示出了hadoop的三个特点:1.reliable:hadoop的HA,解决了单节点故障问题hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素 或存储出现故障,也不会导致数据的丢失。2.scalable:增添或者删除DataNod原创 2020-08-11 09:07:49 · 310 阅读 · 0 评论 -
hadoop之hdfs
1.hdfs 简介HDFS(Hadoop Distributed File System),它是一个文件系统,用于存储文件,通过目录树 来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。HDFS的使用场景:适合一次写入,多次读出的场景,且不支持文件的修改。适合用来做数据分析,并不适合用来做网盘应用。2.hdfs的优缺点(适用于技术选型)优点适合...原创 2019-08-19 18:12:58 · 196 阅读 · 0 评论 -
hdfs 文件夹/文件名 rename
文章目录需求:1.先在hdfs中创建目录,上传文件2. code需求:HDFS上的目录结构:20191001这个参数不是写死的,是外面传进去的public static void rename(String time)/ruozedata/20191001/a.txt/ruozedata/20191001/b.txt/ruozedata/20191001/c.txt使用HDFS AP...原创 2019-08-27 13:16:10 · 2292 阅读 · 0 评论 -
name node 安全模式
为什么NameNode会处于安全模式?1、NameNode发现集群中DataNode丢失达到一定比例(0.01%)时会进入安全模式,此时只允许查看数据不允许对数据进行任何操作。2、HDFS集群即使启动正常,启动只会依旧会进入安全模式一段时间,这时你不需要理会他,稍等片刻即可。3、集群升级维护时手动进入安全模式,命令如下hadoop dfsadmin -safemode enter退出安...原创 2019-09-06 12:47:06 · 409 阅读 · 1 评论 -
Hadoop部署文档
文章目录1. 先在阿里云主机按量付费配置三台主机2.软件版本3.集群规划4.集群目录结构5.环境准备6.安装 Zookeeper7. 安装 Hadoop(NameNode HA+ResourceManager HA)8.启动集群(第一次系统启动,需要初始化)遇到的问题1. 先在阿里云主机按量付费配置三台主机这三台阿里云主机作为三台集群的服务器,配置为2核,内存8G,centos 7.22....原创 2019-08-21 00:45:50 · 555 阅读 · 1 评论 -
hadoop之mr
文章目录1.mr之CombineTextInputFormat2.split size2.按行分片NLineInputFormat4.split大小与block的关系:5.reduce数量大于分区数1.mr之CombineTextInputFormat处理一个文件夹下的四个小文件,未使用CombineTextInputFormat.class //默认走的是TextInput...原创 2019-09-02 00:06:14 · 172 阅读 · 0 评论 -
note5-hdfs & mr api
文章目录1.部署idea2. idea创建hdfs目录遇到权限问题:owner问题3.copyFromLocalFile副本数不一样(hdfs-site.xml)4.通过流的方式(文件块的合并)5.MRwordcountlongWritable无默认构造方法-报错自定义的类一定要实现writable接口6.自定义序列化类的开发步骤补充单元测试core-site.xml里有配置端口1.部署idea...原创 2019-08-27 01:34:37 · 118 阅读 · 0 评论 -
mr自定义排序
文章目录1.需求:按照总流量排序(全局):代码结果2.需求:按照总流量排序(分区):代码结果1.需求:按照总流量排序(全局):reduce是按照key排序的自定义排序需要实现WritableComparable接口public interface WritableComparable<T> extends Writable, Comparable<T> {}...原创 2019-09-01 17:40:17 · 149 阅读 · 0 评论 -
mr分区代码
文章目录1.数据需求代码1.数据1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681 2001363157995052 13826544101 5C-0E-8B-C7-F1-E0:CMCC 120.197.40.4 4 0 264 0 200...原创 2019-09-01 16:54:37 · 265 阅读 · 0 评论 -
hdfs整理
文章目录1.hdfs ha架构图梳理2.yarn ha架构图梳理3.总结hdfs yarn ha架构区别4.hdfs dfs -ls 结果是哪个目录5.双写的理解6.小文件的理解 什么的小文件,危害,如何避免(产生前,产生后)7.主从架构的hbase读写经过master进程吗?1.hdfs ha架构图梳理2.yarn ha架构图梳理3.总结hdfs yarn ha架构区别4.hdfs df...原创 2019-08-21 19:59:12 · 283 阅读 · 1 评论