![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hdfs
李白星河
nlp算法工程师
展开
-
HDFS如何查看文本内容
1.查看指定行数的文本 hdfs dfs -cat /aaaaa/空白文本.txt | shuf -n 5 2.查看指定头数的文本 hdfs dfs -cat /aaaaa/空白文本.txt | head -100 3.查看指定尾数的文本 hdfs dfs -cat /aaaaa/空白文本.txt | tail-100 4.查看文本行数 hdfs dfs -cat /path/txt | wc -...原创 2019-11-25 11:03:02 · 3755 阅读 · 0 评论 -
集群环境准备步骤详解
1.安装jdk 创建/export/softwares路径,将jdk压缩包上传到这个路径下 创建/export/servers路径,将softwares下的压缩包解压到这个路径下 命令:tar -zxvf /export/softwares/jdk -C ../servers 配置环境变量: 进入到/etc/profile.d文件中,创建一个java.sh文件 命令:cd /etc/prof...原创 2019-11-20 09:31:16 · 279 阅读 · 0 评论 -
集群中添加新数据节点和删除旧数据节点节点步骤详解
1.添加节点 新节点的准备工作: 第一步:复制一台新的虚拟机出来 将我们纯净的虚拟机复制一台出来,作为我们新的节点 第二步:修改mac地址以及IP地址 修改mac地址命令 vim /etc/udev/rules.d/70-persistent-net.rules 修改ip地址命令 vim /etc/sysconfig/network-scripts/ifcfg-eth0 第三步:关闭防火墙,...原创 2019-11-20 09:24:46 · 701 阅读 · 0 评论 -
linux中异常NameNode is not formatted 异常怎么解决?
1.可以直接将NameNode格式化,但是这样NameNode中的数据就会全部没有(对于空白练习集群时可用,其他时候不建议用) 2.先关闭集群sbin/stop-all.sh,将secondaryNameNode所在机器的fsimage与edits文件拷贝到namenode所在的fsimage与edits文件夹下面去由于我的secondaryNameNode与namenode安装在同一台机器,都在...原创 2019-11-06 14:41:45 · 2311 阅读 · 2 评论