![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
cjy_lean
这个作者很懒,什么都没留下…
展开
-
Hadoop基本操作
HDFS操作1 HDFS文件上传2 HDFS文件下载3 定位文件读取4 HDFS写数据流程客户端向NameNode请求上传文件(test.txt) NameNone向客户端响应可以上传文件 客户端请求上传第一个Block(0-128m),请返回DataNode NameNone给客户端返回dataNode2, dataNode2节点,表示采用节点存储数据 客户端请求每一个dataNode节点建立Block传输通道 每一个dataNod...原创 2020-05-15 20:29:31 · 413 阅读 · 0 评论 -
Hadoop HDFS 基本命令
Hadoop HDFS 基本命令hadoopfs具体命令 hadoopfs-help:输出这个命令参数 hadoopfs‐helpcatls:显示目录信息hadoopfs‐ls/4.- mkdir:在HDFS上创建目录 hadoopfs-mkdir-p /cjyy/test5.moveFromLocal:从本地剪切粘贴到HDFStouch t2.txt hadoopfs‐moveFromLocal...原创 2020-05-15 20:26:22 · 448 阅读 · 0 评论 -
hadoop集群(一主二从)
hadoop集群(一主二从)先关闭两台机的防火墙stop-all.sh停止所有服务在两台机中 在 /etc/hosts 添加 主节点主机 ip 和主机名称 以及 从节点的主机ip 和 主机名称,(两台机都需要添加)vi /etc/hosts在 /usr/local/hadoop-2.7.6/etc/hadoop目录下slaves 添加主机名称和从节点的主机名vi slaves修改 主节点的 hdfs-site.xml 文件将副本数由原来的1改为2修改从节点的y.原创 2020-05-12 22:17:21 · 399 阅读 · 0 评论 -
Hadoop基础命令
Hadoop基础命令查看hdfs根目录下的文件:hadoop fs -ls hdfs://hadoop1:9000/以简写为以下的形式:hadoop fs -ls /或者这么写:hdfs dfs -ls /创建文件夹:hadoop fs -mkdir /test在指定文件夹中创建空文件:hadoop fs -touchz /test/zs.txt上传本地文件到HDFS(将Linux系统下当前目录下的a.php文件上传到根目录下):hadoop fs -...原创 2020-05-10 15:13:50 · 679 阅读 · 0 评论 -
Hadoop(大数据)基础入门学习
Hadoop基础入门一.hadoop是什么Hadoop被公认是一套行业大数据标准开源软件,在分布式环境下提供了海量数据的处理能力。几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。今年大型IT公司,如EMC、Microsoft、Intel、Teradata、Cisco都明显增加了Hadoop方面的投入。二 .hadoop能干什么hadoop擅长日志分析...原创 2020-05-07 21:22:37 · 312 阅读 · 0 评论