是故事啊~关注我~

想要查看单个主机在运行哪些java进程。我们可以去到每个主机下，使用jps命令，但是想要查看多个服务器进程时，我们可以使用一个shell脚本来完成此命令。shell编写脚本jps命令查看指定服务器的进程时，报错bash: jps: 未找到命令1.shell脚本 jpsall#!/bin/bashfor i in hadoop101 hadoop102 hadoop103do echo "==== $i =====" ssh $i "jps" | grep -v Jpsdone

最近装了hadoop3.X版本集群，感觉相对比2.X版本有很多坑在完成集群配置后，启动hdfs.sh和yarn.sh都遇到这个问题了解决问题方法：需要修改start-dfs.shstop-dfs.shstart-yarn.shstop-yarn.sh配置sbin下的start-dfs.sh添加HDFS_DATANODE_USER=rootHADOOP_SECURE_DN_USER=hdfsHDFS_NAMENODE_USER=rootHDFS_SECONDARYNAMENODE_

执行spark任务遇到数据量巨大的表时，任务经常出现心跳超时报错org.apache.spark.rpc.RpcTimeoutException: Cannot receive any reply in 120 seconds. This timeout is controlled by spark.rpc.askTimeout at org.apache.spark.rpc.RpcTimeout.org$apache$spark$rpc$RpcTimeout$$createRpcTime

HDFS 命令行官方文档操作 http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.htmlhdfs最基本的命令行使用HDFS 命令行基本最常用的基本操作（1）查看帮助hdfs dfs -help（2）查看当前目录信息hdfs dfs -ls /（3）上传文件hdfs dfs -put /本地路径 /hdfs路径（4）剪切文件hdfs dfs -moveFromLocal a.txt /aa.txt（5）下载文件到本地hdfs df.

详细全面的HDFS安装流程和环境配置文档，欢迎收藏1. 环境准备注意：以下步骤均以root权限操作1.1 虚拟机准备克隆三台虚拟机（linux01、linux02、linux03），修改虚拟机的网络配置vi /etc/sysconfig/network-scripts/ifcfg-eth0配置好对应主机的网络IPvi /etc/udev/rules.d/70-persistent-net.rules 永久修改主机名 vi /etc/sysconfig/network配置域名映.

2003-2004年，Google公开了部分GFS和MapReduce思想的细节，以此为基础Doug Cutting等人用了2年业余时间实现了DFS和MapReduce机制，使Nutch性能飙升。2005 年Hadoop 作为 Lucene的子项目 Nutch的一部分正式引入Apache基金会。2006 年 3 月份，Map-Reduce和Nutch Distributed File System (NDFS) 分别被纳入到 Hadoop 项目中，Hadoop就此正式诞生，标志着大数据时代来临。名字

执行hdfs命令：hdfsdfs -ls /报错：DEPRECATED: Use of this script to execute hdfs command is deprecated.Instead use the hdfs command for it.ls: Call From linux01/192.168.133.3 to linux01:8020 failed on connection exception: 拒绝连接; For more details see:http://..