问题列表:
普通用户使用./sbin/start-all.sh之后,为什么50070页面显示不了呢,而且jps也无法得到正确的结果?? -- 普通用户可以使用这条命令吗?
还有一个需要解决的任务是,zyf的23-26号节点的问题解决了吗?
为什么点击连接VPN之后,会断开与主节点的连接?
设置新的路由规则,让其重启也会生效,是保存在那个文件夹里的?
xiangr可以操作./sbin/stop-all.sh,但是好像没有用啊。。。
经过删除整理用户组和用户名,目前的情况是,hadoop 用户组里面的用户无权限进行./sbin(话说这个应该有吗)
df -h (file)查看磁盘挂载情况
lvm更改,关于/data如何改变挂载
userdel:/var/spool/mail/gaopeng 并不属于 gaopeng,所以不会删除
[root@node28 ~]# rm -rf /var/spool/mail/gaopeng
如何查看远程机器上的文件
master的文件配色方案
Exception in thread "main" org.apache.hadoop.mapred.InvalidInputException: Input Pattern file:/user/gaopeng/data-100/part-m-* matches 0 files:
solution:未配置conf下的文件
上述四个用户在运行分布式程序时,应当注意先分配小规模机器数,再到较多数目机器运行;
配置master和slave可以为任意一个节点的ip吗?
如果需要运行扩展性,普通用户貌似没有这个权限啊
spark的运行日志该如何缩减,只要打印重要的信息,还有,运行的日志在哪里查看
coalesce这个函数是根据机器数和数据大小来决定里面的num值吗?
master 上面 df -h /data 显示只有50G,是不是错了?
hadoop如果启动20个节点,spark启动10个节点,那么会不会带来网络通信的开销(因为数据好像分布存储在20个节点上。。)
项总那个问题后来是怎么解决的(工程在IDEA目录下)
fsck, df -h