HDFS
文章平均质量分 87
bck1453925668
这个作者很懒,什么都没留下…
展开
-
hbase对HDFS开启短路读功能
1.增加短路读路径mkdir /var/lib/hadoop-hdfs chmod 775 /var/lib/hadoop-hdfschown hdfs:root -R /var/lib/hadoop-hdfs2.开启datanode 短路读(${HADOOP_HOME}/etc/hadoop/hdfs-site.xml)添加配置 <property> <name>dfs.client.read.shortcircuit</name> ...原创 2020-10-28 23:56:59 · 446 阅读 · 0 评论 -
MapReduce(一)
wordcountmapreduce的阶段MAP 分区 排序 规约 分组 Reducemappackage com.example;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.util.StringUtils;import java.io.B原创 2020-09-09 19:43:41 · 77 阅读 · 0 评论 -
java程序jar打包3种方式
想将写出来的java程序打包成.jar方式以操作HDFS的程序来做示例, 一般情况下,使用idea方式打包出来的jar文件里只有程序本身 .class文件,没有依赖包,所以单独的jar包不能独立运行.第一种方式可以使用命令hadoop jardemo-1.0-SNAPSHOT.jar com.hdfs.demo的方式运行, hadoop命令运行时,所有的依赖包都被加载.这种方式有弊端, 当有配置文件在jar包中时, 配置文件会读取失败.读取方式 InputStream core...原创 2020-07-07 15:06:10 · 1138 阅读 · 0 评论 -
hadoop的log4j_and_hdfs_audit.log开启
在Hadoop2.9.2的log4j.properties配置文件中,默认情况下日志有两种滚动方式:log4j.appender.RFA=org.apache.log4j.RollingFileAppenderlog4j.appender.DRFA=org.apache.log4j.DailyRollingFileAppender其中RFA和DRFA为关键字。若想起用某种方式需要在...原创 2021-08-09 21:51:53 · 1214 阅读 · 0 评论 -
块汇报与块副本数补全&&datanode扫描自身存储池
在hdfs中,某个块的副本数不足时,什么时候才能把副本数补全?先看两个参数:参数 默认值 (都是6小时) 作用 dfs.blockreport.intervalMsec 21600000 datanode全量块汇报的间隔 dfs.datanode.directoryscan.interval 21600 dat...原创 2019-11-09 19:30:35 · 432 阅读 · 0 评论