- 博客(7)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 hadoop中的hdfs-site.xml修改后会立马生效吗？
修改hdfs-site.xml文件的dfs.replication值后，不重启hadoop集群，上传马上生效。不重启，对于修改dfs.replication值之前的文件备份数不会变动。重启后，对于修改dfs.replication值之前的文件备份数也不会变动。我有两个datanode节点，测试的时候，先设置dfs.replication的值为1，后来改为2。但是如果是由2变为1的话，had...
2020-03-29 21:36:48
2298
原创 hdfs之副本数
副本数伪分布式安装HDFS，副本数只有一个集群安装HDFS，默认副本数是3个，参数：dfs.replication，官方也定义了最大副本数是512个，参数：dfs.replication.max。题目：块大小128m，副本数3份，一个文件260m，请问需要多少块，多少实际存储？260M%128M = 2 ……4M 一个副本需要3个块 总共需要9个块实际存储为 260M * 3 = 780...
2020-03-29 21:33:34
1876
原创 hdfs之小文件
小文件小文件的存储，对HDFS是致命的，默认小文件的定义，各个公司是不同的，可以从自己公司的日常文件中，随机挑选1000个文件，以此来定义小文件的大小。小文件危害：1、NameNode需要的内存大大增大，增加NameNode压力，这样会限制了集群的扩展。2、在HDFS中，小文件的读写处理速度要远远小于大文件3、Hive中，小文件会开很多map，一个map开一个JVM去执行，所以这些任务的...
2020-03-29 21:32:53
241
原创 hdfs之块大小
块大小hdfs默认的块大小为128M，可以在官网查看参数dfs.blocksize。假如一个文件的大小为130M，往HDFS里面存储时，先将128M存储到第一个块里面，剩余的2M则会存储到第二个块里面，但第二个快的实际大小为2M。...
2020-03-29 21:32:11
363
原创 正常工作的Hadoop集群中Hadoop都分别需要启动哪些进程，它们的作用分别是什么?（详细）
1）NameNode它是hadoop中的主服务器，管理文件系统名称空间和对集群中存储的文件的访问，保存有metadate。2）SecondaryNameNode它不是namenode的冗余守护进程，而是提供周期检查点和清理任务。帮助NN合并editslog，减少NN启动时间。3）DataNode它负责管理连接到节点的存储（一个集群中可以有多个节点）。每个存储数据的节点运行一个datanode守...
2020-03-29 20:15:16
7740
原创 Windows切换jdk版本失败最简单的解决办法
今天切换jdk版本，环境变量什么的都配置好了，但是打开cmd之后输入java -version发现还是原来的版本号，到网上搜罗了一下，其实有一个很简单的方法，并不用去C盘删除什么文件什么系统的。简单粗暴：%JAVA_HOME%在path中配置的位置在%SystemRoot%\system32;前面，放到path最前面就好了亲测有效，哈哈...
2020-03-20 15:56:44
406
原创 ‘mvn’不是内部或外部命令，也不是可运行的程序
今天在配置maven的时候，在cmd窗口敲出mvn -v指令的时候，提示“mvn不是内部或外部命令”，情况如下图所示：吓得我这个小心脏怦怦直跳（每次安装的时候都是很紧张，恨不得给电脑烧香拜佛）然后打开电脑找各种攻略。首先说一下我是怎么配置的吧。（本人win10系统，win7 在后面讲）现在root目录里面添加maven_home这个选项，然后加入未打开的bin目录的maven文件（加压后...
2020-03-16 14:08:32
733
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人