hadoop
赴前尘
惜春春去
展开
-
Windows平台Hadoop出现 Exception message: CreateSymbolicLink error (1314): ???????????
1. windows + R 输入gpedit.msc 打开 本地策略组编辑器2. 依次 点击 计算机配置->windows设置->安全设置->本地策略->用户权限分配->创建符号链接3. 点击 添加用户或组 ,将当前用户添加进去,重启电脑...原创 2019-11-20 22:44:04 · 983 阅读 · 0 评论 -
hdfs 常用命令汇总
1.hadoop fs -du -s -h /xxx 查看某文件夹所占磁盘大小2. hdfs dfsadmin -report 查看集群节点分配内存大小3. hadoop fs -rm -r -skipTrash /xxx 删除文件4. hadoop fs -rm -r -skipTrash /xxx 删除文件夹5.hdfs dfs -mkdir /xxx...原创 2019-11-15 12:36:15 · 382 阅读 · 0 评论 -
hadoop退出安全模式
hadoopdfsadmin-safemodeleave原创 2019-11-15 10:27:20 · 183 阅读 · 0 评论 -
hadoop杀掉yarn任务
hadoop job -listhadoop job -kill xxx原创 2019-11-14 23:48:23 · 1189 阅读 · 0 评论 -
hadoop yarn nodemanager无法启动的解决方案
1.子节点:jps 发现没有nodemanager2.主节点修改 yarn-site.xml在最后添加:<property> <name>yarn.nodemanager.resource.memory-mb</name> <value>1024</value>...原创 2019-11-09 00:31:11 · 7402 阅读 · 1 评论 -
对于hadoop外网无法访问yarn-site.xml中配置的8088,8031,8032,8033等端口的解决办法
一.50070端口可以访问:8088端口无法访问:二.输入命令netstat -tpnl | grep java可以看到 8088等端口挂在内网上,所以外网无法访问三.修改 yarn-site.xml原来的配置:修改后的配置:四.yarn-site.xml分发到其他节点五.端口验证...原创 2019-11-08 23:52:38 · 6009 阅读 · 0 评论 -
hadoop集群下执行Terasort排序
1.产生数据:hadoop jar /usr/local/hadoop-2.6.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.1.jar teragen 10737418 /terasort/1G-input2.检查是否产生数据: hdfs dfs -ls /terasort/ 3.使用ter...原创 2019-11-01 21:22:01 · 800 阅读 · 0 评论 -
centos7系统下安装JDK8的详细步骤
一.前期准备centos7虚拟机,xshell,,xftp,JDK8(linux版)二.安装步骤1. 启动centos7之后,通过 ifconfig 命令获取centos7的IP地址(注:以下只要是输入的命令都用红字表示)2.打开xshell,新建会话,输入第1步获取的IP地址,连接centos7,选择root用户登录3. rpm -qa | grep java 命令...原创 2019-08-28 18:17:27 · 8968 阅读 · 1 评论 -
centos hadoop集群搭建所需命令记录
1.解压 --tar -xvf xxx.tar.gz2.重命名 -- mv xxx(原) xxx(新)3.删除 openJDK --rpm -qa|grep java(查看) rpm -e --nodeps xxx(删除)4.分发 --scp -r /usr/local/hadoop-2.6.1 centosx:/usr/local5.修改文件夹所属用户组 --...原创 2019-10-16 17:02:23 · 135 阅读 · 0 评论