hadoop
文章平均质量分 56
Hi~喜马拉雅
活到老,学到老。
展开
-
终止hadoop集群上正在执行的任务
然后输入命令:hadoop job -kill job_201353535_001。下面会出现类似 job_201353535_001字体的便是。首先输入命令: hadoop job -list。原创 2023-06-15 09:58:26 · 443 阅读 · 0 评论 -
hadoop3.2.0,zookeeper3.6.3,spark3.2.0安装
-================================== 分别配置 这 3 台 RM 地址 =================-->--====================================== 故障处理 =====================-->--================================================ NodeManager 配置 -->-- hadoop链接zookeeper的超时时长设置 -->原创 2023-06-05 16:50:49 · 649 阅读 · 1 评论 -
hadoop集群,hbase集群,hive安装
我的hbase使用的是hbase-0.20.6,所以对应的hive本应该是hive.0.6.x版本的,但因网上更新的很快,现在已经找不到对应的6.x的版本。dataDir=/usr/zookeeper-3.4.5/zookeeperdir 新建zookeeperdir,里面存放的是logs日志,如果没有此文件夹将报错,并且在该zookeeperdir 文件夹下面新建myid文件,编辑myid文件,并在对应的IP的机器上输入对应的编号。而配置成true则是hbase自带的zookeeper。原创 2023-06-07 10:18:44 · 290 阅读 · 0 评论 -
linux设置每天自动上传文件到hdfs,并自动处理mapreduce任务
40 16 * * * source /root/auto.sh //执行任务要在上传文件之后,注意时间要隔开。19 16 * * * source /root/putHdfs.sh //每天的16:19上传文件。hdoop jar /data/hadoop-1.0.2/test.jar 类名。source /etc/profile //要把hadoop的环境变量引入进来。2.输入命令 crontab -e ,加入以下内容。1.设置自动处理mapreduce任务。新建auto.sh文件,加入以下内容。原创 2023-06-15 09:50:42 · 156 阅读 · 0 评论