![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
aa346359669
这个作者很懒,什么都没留下…
展开
-
(转)hadoop编程笔记
FileInputFormat.setMinInputSplitSize(job, 2L * 1024 * 1024 * 1024);将使得小于 2G 的输入文件不会被分割处理。如果你的输入文件中有很多都是小于2G的,并且你的Hadoop集群配置了一个split的大小是默认的64M,那么就会导致 一个1点几G的文件就会被很多个map处理,从而导致输出文件数量很多。使用上面的方法设置了min i...原创 2015-01-07 10:50:25 · 95 阅读 · 0 评论 -
hadoop检测不到datanode
如果检测不到datanode就把/etc/hosts里对本主机hostname的映射注释掉,对本主机的映射只留下一个127.0.0.1 localhost就可以了。这个应该是优先级的原因,节点在解析hostname时由于127.0.0.1 hostname在前面,就把hostname解析成了127.0.0.1,在完全分布式的部署上就会出现检测不到datanode。...原创 2015-01-07 10:53:16 · 445 阅读 · 0 评论 -
hadoop读取文件内容
[code="java"]/** * @see 读取dst文件内容 * @param dst * @return * @throws Exception */ public static byte[] readHDFSFile(String dst) throws Exception { Conf...原创 2015-01-07 11:00:20 · 261 阅读 · 0 评论 -
hadoop创建文件,如文件存在则追加内容
[code="java"]public static void createNewFile(String path, String content, FileSystem fs) throws Exception{ Configuration conf = new Configuration(); conf.set("dfs.support.append", "true...原创 2015-01-08 17:47:35 · 2033 阅读 · 0 评论 -
hadoop读取目录下的文件列表
[code="java"]/** * @see 读取path下的所有文件 * @param path * @return * @throws IOException */ public static String[] getFileList(String path) throws IOException{ Con...原创 2015-01-08 17:47:46 · 1960 阅读 · 0 评论