Hadoop
文章平均质量分 50
SoRA数据家
数据开发&数据分析探索家️
展开
-
Hadoop分布式集群时间同步(ntp)配置
因为服务器会定期和公网时间进行校准。如果服务器在内网环境,必须要配置集群时间同步,否则时间久了,会产生时间偏差,导致集群执行任务时间不同步。转载 2022-11-15 23:37:56 · 1354 阅读 · 0 评论 -
Hadoop-HDFS的API案例实操
4.在pom.xml文件中导入依赖(这边不做过多解释,导入时看清楚自己的hadoop版本)1.在本机中配置HADOOP_HOME的环境变量。3.创建Maven工程。2.配置PATH路径。原创 2022-11-15 00:04:24 · 965 阅读 · 0 评论 -
Hadoop命令大全
hadoop fs -count [-h] (-h 参数使用便于操作人员读取单位信息格式)- hadoop fs 可操作任意文件系统,不仅仅是hdfs文件系统,使用范围更广。5.count:命令用于统计指定目录下的目录数、文件数、字节数。4.-df:统计文件系统的容量、可用空间和已用空间信息。- hdfs dfs 只能操作HDFS文件系统。-copyToLocal:从HDFS拷贝到本地。:追加一个文件到已经存在的文件末尾。目录中移动文件(注意区别-get)的另一个路径(注意区别-put)原创 2022-10-11 20:33:54 · 4390 阅读 · 0 评论 -
启动Hadoop时一直提示输入密码的问题(SSH配置)
启动Hadoop时一直提示输入密码的问题,经常弹出要要我输入password。原创 2022-10-10 10:31:41 · 3231 阅读 · 2 评论