- 博客(6)
- 收藏
- 关注
RSS订阅转载 hdfs uri
通过uri访问hdfs用法：scheme://authority/path选项：（1）scheme–>协议名，file或hdfs（2）authority–>namenode主机名（3）path–>路径viewfs://marsX范例：hdfs://localhost:54310/user/hadoop/test.txt或viewfs://marsX/user/hadoop/test.txt获取namenode主机名命令：hdfs getconf -confKey fs.def
2020-10-07 12:14:35
395
转载 java nio读取大文本
java nio读取大文本1. NIOFileReader(处理缓存的逻辑)2、ReaderListen（监控缓存的类，从缓存中读取消息）3、ReadText（文件的输入输出设置以及读取参数设置）1. NIOFileReader(处理缓存的逻辑)public class NIOFileReader {// 每次读取文件内容缓冲大小,默认为1024个字节private int bufSize = 1024;// 换行符private byte key = "\n".getBytes()[0];
2020-08-15 10:36:55
448
原创 常用的运行脚本
常用的运行脚本1、java -Xmx1430m -cp "scenic_area_cas-1.0-SNAPSHOT.jar" scenery.extend.extendMain2、指定lib运行java -Djava.ext.dirs="./lib" -Xmx2048m -cp "subwaystationcompare-1.0-SNAPSHOT.jar" com.sogou.compareMain3、hadoop jar运行hadoop jar scenic_area_cas-1.0-SNAPSHOT.
2020-07-01 12:25:35
528
原创 maven打包（2种）
带有lib包的maven打包在pom文件中加入：<build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plug...
2020-01-08 20:00:40
263
原创 properties文件读取以及poi读写excel
配置文件读取1、读取resources下的propertiesProperties properties=new Properties();InputStream fis=StatisticMain.class.getClassLoader().getResourceAsStream(路径即为resources下的文件名);//指定编码properties.load(new InputS...
2020-01-07 20:41:03
555
原创 初学MapReduce
初学MapReduce工作原理 
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人