hadoop
文章平均质量分 61
..........
小懒虫不想写博客
很多博客是复制粘贴,仅当云笔记使用。如有侵权,请联系删除。
展开
-
hadoop shell(翻译自官网)
Apache Hadoop 3.3.1 – Overview英文太渣,看得脑瓜疼,有时间就看了一遍,整理了一下下。appendToFile用法:hadoop fs -appendToFile <localsrc> ... <dst>将单个 src 或多个 src 从本地文件系统附加到目标文件系统。还从 stdin 读取输入并附加到目标文件系统。hadoop fs -appendToFile localfile /user/hadoop/hadoopfilehadoo翻译 2021-09-27 11:23:24 · 196 阅读 · 0 评论 -
hadoop 命令
DFSShellHDFS以文件和目录的形式组织用户数据。它提供了一个命令行的接口(DFSShell)让用户与HDFS中的数据进行交互。命令的语法和用户熟悉的其他shell(例如 bash, csh)工具类似。下面是一些动作/命令的示例:动作 命令 创建一个名为/foodir的目录 bin/hadoop dfs -mkdir /foodir 创建一个名为/foodir的目录 bin/hadoop dfs -mkdir /foodir 查看名为/foodir/my...原创 2021-09-07 17:17:33 · 98 阅读 · 0 评论 -
resourcemanger报错:端口不可用
standbyresourcemanger机器报错端口不可用,8088端口正常,进程在,日志正常解决思路1、登录两台resourcemanger机器,查看/var/log/hadoop-yarn/hadoop-hadoop-resourcemanager-emr-header-1.cluster*.log日志是否有报错信息2、排查是否有自动拉起的日志:STARTUP_MSG: Starting ResourceManager,判断是否出现过active-standby的切换2021-08-.原创 2021-08-12 17:55:31 · 730 阅读 · 0 评论 -
yarn 通过api查询sql任务
针对appid:application_1620381918837_260462替换成jobid:job_1620381918837_260462然后再替换到JobHistory的API接口获取到的数据是个很大的json,从里面找到hive.query.string 的值,通过URLDecoder.decode(json,"UTF-8")解析后就是mr的sql了https://www.cnblogs.com/tonglin0325/p/12455825.html...原创 2021-07-05 19:07:41 · 739 阅读 · 0 评论