hadoop
滚小滚
这个作者很懒,什么都没留下…
展开
-
HDFS的上传文件流程
1,客户端向namenode发送数据上传的请求(包含数据长度信息)hadoop fs -put abc.txt /aa2,namnode在接收到客户端请求后,进行一系列检查1,文件是否存在2,上传的文件的目录是否存在,不存在会报错3,查询权限3,namenode检查目录,向客户端返回储存的节点信息返回节点有一个原则:就近原则。(优先返回客户端所在节点>>同机架...原创 2020-04-24 21:56:51 · 1551 阅读 · 0 评论 -
hadoop的基准测试
测试写性能hadoop jar /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-cdh5.14.0.jar TestDFSIO -write -nrFiles 10 -fileSize 10MB测试读性能hadoop jar /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduc原创 2021-02-25 23:47:08 · 82 阅读 · 0 评论 -
HDFS的回收站
默认情况下,文件直接删除,可通过设置core-site文件,设置文件彻底删除时间<!--设置回收站的保留时间,单位分钟--> <property> <name>fs.trash.interval</name> <value>1440</value> </property>...原创 2020-04-25 11:24:27 · 171 阅读 · 0 评论 -
hadoop的高级命令、安全模式
HDFS文件配额1,数量配额hdfs dfs -mkdir -p /usr/root/lisi设置lisi下只能上传两个文件hdfs dfsadmin -setQuota 2 lisi清除限额hdfs dfsadmin -clrQuota lisi2,空间限额限制最大4khdfs dfsadmin -setSpaceQuota 4k /usr/root/lisi解除限额hdfs dfsadmin -clrSpaceQuota lisi查看hdfs文件限额数量hdfs dfs -co原创 2021-02-25 23:14:07 · 124 阅读 · 0 评论 -
HDFS的shell操作
查看dfs集群的工作状态hdfs dfsadmin -report查看目录情况hadoop fs -ls /hadoop fs -ls hdfs://hadoop101:9000/查看文件hadoop fs -cat /aa/bb/a01.txt显示文件的末尾hadoop fs -tail /aa/bb/a01.txt创建目录hadoop fs -mkdir -p ...原创 2020-04-25 10:50:23 · 73 阅读 · 0 评论