Hadoop
王胡雄
半路出家,立地成猿。
展开
-
手动触发Hadoop checkpoint
1.问题出现现象: 因HDP集群重启或其他原因,导致hdfs 报alert 警告,警告内容为: 解决方案:先去查看一下 current目录下的image 上次合并的最后时间: 当最后一次的image快照时间不符合我们设定的 时间间隔 或 文件大小限制 (如下图)时,执行三条命令手动触发 sudo -u hdfs hdfs dfsadmin -sa...原创 2019-12-30 15:59:32 · 721 阅读 · 0 评论 -
_ssl.c:618
异常:Ambari-agent ERROR 2019-02-13 17:03:13,563 NetUtil.py:96 - EOF occurred in violation of protocol (_ssl.c:618) ERROR 2019-02-13 17:03:13,563 NetUtil.py:97 - SSLError: Failed to connect. Please chec...原创 2019-12-30 10:35:10 · 1395 阅读 · 1 评论 -
HDFS的JAVA上传下载简单实现
1.HDFS的Java基本操作非常重要 2.Haoop的常用shell操作 1.hadoop fs -ls hdfs://haoop1:8020/目录 2.hadoop fs -copyFromLocal|put 文件地址 目的目录 3.hadoop fs -copyToLocal|get 文件地址 目的目录 ...原创 2019-04-01 19:30:38 · 5401 阅读 · 0 评论 -
Hadoop 集群间访问
hadoopdistcphdfs://master1:9999/foo/barhdfs://master2:9999/bar/foo 在A集群上执行该命令 将文件传输到B集群上原创 2019-08-01 10:52:31 · 690 阅读 · 0 评论