![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
hankl1990
show me the code
展开
-
Hadoop 之 hdfs的常用命令
转自:http://blog.csdn.net/u011596455/article/details/53323788hadoop常用命令: hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录、子目录及文件信息转载 2017-08-10 14:48:11 · 228 阅读 · 0 评论 -
HBASE
ZHUANZI:http://blog.csdn.net/u014726937/article/details/51942654Hbase简介1.1 简介1)Hbase是一个分布式的、多版本的、面向列的开源数据库2)hbase利用Hadoop HDFS 作为其文件存储系统,提供高可靠性、搞性能、列存储、可升缩、实时读写、适用于非结构化数据存储的数转载 2017-08-14 20:52:57 · 267 阅读 · 0 评论 -
Hadoop 之 常用指令
转自:https://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html#testHadoop Shell命令FS ShellcatchgrpchmodchowncopyFromLocalcopyToLocalcpdudusexpungegetgetmergelslsrmkdirmovefromLocalmvpu转载 2017-09-13 10:49:00 · 167 阅读 · 0 评论 -
HDFS文件系统Shell命令
转:http://blog.csdn.net/yuan_xw/article/details/502023811 Hadoop- Shell命令HDFS是存取数据的分布式文件系统,那么对HDFS的操作,就是文件系统的基本操作,比如文件的创建、修改、删除、修改权限等,文件夹的创建、删除、重命名等。对HDFS的操作命令类似于Linux的shell对文件的操作,如ls、mkdir转载 2017-12-21 15:01:53 · 2820 阅读 · 0 评论 -
用java操作hdfs
转:http://blog.csdn.net/AndyXuq/article/details/7995098package andy.hdfs.test;import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.File;import java.io.FileInputStr转载 2017-12-21 15:06:52 · 368 阅读 · 0 评论 -
MapReduce过程详解及其性能优化
http://blog.csdn.net/aijiudu/article/details/72353510废话不说直接来一张图如下:从JVM的角度看Map和ReduceMap阶段包括:第一读数据:从HDFS读取数据1、问题:读取数据产生多少个Mapper?? Mapper数据过大的话,会产生大量的小文件,由于Mapper是基于虚拟机的,过多的Mappe转载 2018-01-30 11:49:51 · 375 阅读 · 0 评论