Hadoop
行走的数据智能
数智侠,计算机小硕,目前通讯行业从事大数据研发工作。专注于大数据平台、日志系统、数据仓库、数据中台、实时数仓、企业数字化转型等数据技术领域。公众号分享大量干货,包括数据中台/数字化转型方案和案例、大数据架构、数据治理、数据处理优化技巧等。有数据交流社群。
展开
-
Map与Reduce任务个数的控制方法
1、Map任务个数的控制方法2、Reduce任务个数的控制方法原创 2018-04-24 10:18:28 · 321 阅读 · 0 评论 -
Hadoop Shell 常用命令
FS Shell调用文件系统(FS)Shell命令应使用bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中...转载 2019-09-08 17:50:51 · 233 阅读 · 0 评论 -
Hadoop常见命令 完整版
1、列出根目录下所有的目录或文件hadoop fs -ls /2、列出/user目录下的所有目录和文件Hadoop dfs -ls /user3、列出/user目录及其子目录下的所有文件(谨慎使用)hadoop dfs -ls -R /user4、创建/soft目录hadoop dfs -mkdir /soft5、创建多级目录had...原创 2019-09-11 00:20:31 · 2099 阅读 · 0 评论 -
在shell中如何判断HDFS中的文件目录是否存在
在Linux文件系统中,我们可以使用下面的Shell脚本判断某个文件是否存在: # 这里的-f参数判断$file是否存在 if [ ! -f "$file" ]; then echo "文件不存在!" fi 但是我们想判断HDFS上某个文件是否存在咋办呢?别急,Hadoop内置提供了判断某个文件是否存在的命令: [iteblog@www...转载 2019-09-12 01:34:21 · 1026 阅读 · 0 评论