![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 64
Home&Freedoom°
这个作者很懒,什么都没留下…
展开
-
【博学谷学习记录】超强总结,用心分享 | 狂野大数据HDFS的动态扩容和缩容~个人学习&复习记录~PART-05
概念1、在不影响当前集群正常运行的情况下,对集群的主机的数量进行增加或者减少。原创 2022-11-13 15:38:22 · 608 阅读 · 1 评论 -
【博学谷学习记录】超强总结,用心分享 | 狂野大数据HDFS的Archive机制~个人学习&复习记录~PART-04
HDFS并不擅长存储小文件,因为每个文件最少一个block,每个block的元数据都会在NameNode占用内存,如果存在大量的小文件,它们会吃掉NameNode节点的大量内存Hadoop Archive可以有效的处理以上问题,它可以把多个文件归档成为一个文件,归档成一个文件后还可以透明的访问每一个文件(类似于打包)1、Archive机制概念。原创 2022-11-13 11:41:44 · 545 阅读 · 0 评论 -
【博学谷学习记录】超强总结,用心分享 | 狂野大数据HDFS的JavaAPI操作~个人学习&复习记录~PART-03
在使用Java来操作HDFS时,第一步必须获取HDFS的FileSystem对象,该对象代表整个HDFS系统,有个这个对象,就可以对HDFS的上的文件进行增删改查。需要先在Windows配置对应版本的hadoop环境。原创 2022-11-11 19:56:17 · 587 阅读 · 0 评论 -
【博学谷学习记录】超强总结,用心分享 | 狂野大数据HDFS~个人学习&复习记录~PART-02
hadoop fs -getmerge /dir/*.txt /root/123.txt(合并下载,将HDFS根目录下的dir目录下的所有txt文件合并,并下载到本地root目录下,命名为123的文件)hadoop fs -mv /a.txt /dir(移动命令,将根目录下的a.txt文件,移动到,根目录下的dir文件夹内)hadoop fs -get /a.txt /root(跨文件系统下载,从HDFS下载到本地)复制。hadoop fs -cp /a.txt /dir/b.txt(复制命令)原创 2022-11-08 02:36:50 · 110 阅读 · 0 评论 -
【博学谷学习记录】超强总结,用心分享 | 狂野大数据HDFS~个人学习&复习记录~PART-01
namenode存放文件的元数据信息,文件的block存储在哪些主机,权限,以及文件被切分成几个block,默认一个block128M,副本机制使得每个文件或者每个block存多个一模一样的,默认备份3个,牺牲空间来换取数据安全性,元数据是以文件为单位,一个文件一条元数据,而不是block。存放副本的放置策略:client如果是集群中的一台机,第一个副本则优先放client所在主机(就近原则),第二个副本会放在相邻的机架上,第三个副本会放在和第二个副本相同的机架上(机架放置策略)手动进入安全模式操作命令。原创 2022-11-03 11:12:58 · 184 阅读 · 0 评论 -
【博学谷学习记录】超强总结,用心分享 | 狂野大数据Hadoop的搭建~个人学习&复习记录~PART-01
下载好Hadoop的.tar.gz的安装包后,解压到软件的目录下/export/server。4、在主节点node1上,将配置好的Hadoop安装包分发给其他主机,node2和node3。注意,第一次启动Hadoop之前,必须要对HDFS进行格式化,而且只能操作一次,切记。说明:设置好HDFS的主节点在哪台机器,HDFS数据的存放目录等,设置node1。1、配置回收站,在node1,修改core-site.xml文件,添加以下内容。前提:Hadoop集群搭建方案,这里要搭建HDFS和Yarn集群。原创 2022-10-25 00:33:12 · 522 阅读 · 0 评论