hsdf的使用

最新推荐文章于 2022-02-20 09:52:44 发布
最新推荐文章于 2022-02-20 09:52:44 发布
阅读量1.4k 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tiantao2012/article/details/79485586
版权


下载hadoop

wget -c http://apache.fayea.com/hadoop/common/stable/hadoop-2.9.0.tar.gz

解压

tar -zxvf hadoop-2.9.0.tar.gz

运行hadoop version

配置hdfs


启动hsfs只要下面一个命令就可以了

启动hdfs的命令如下：

 ./sbin/start-dfs.sh

启动成后就可以通过hdfs dfs -mkdir 命令新建目录，这里注意hdfs新建的目录不同通过ls看到，只能通过下面的命令看到

查询hdfs 根目录下的目录

 

查询input 目录下的文件

开始执行命令，注意这里的output 目录必须是不存在的







tiantao2012
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
FileOutputStream中三种写入换行符的方法
Heroku的专栏
11-18 7653
FileOutputStream中有三种方法写入一个换行符号 第一种：Windows环境下使用显示换号符号“\r\n” 第二种：Unix环境下使用显示换号符号“\n” 第三种：使用Java自定义的换行符号，这种方法具有良好的跨平台性，推荐使用。 String newLine = System.getProperty("line.separator"); out.write(newLine.
windows下java操作hdfs(开发环境)相关配置
黑马程序员广州中心的专栏
11-28 190
本文部分参考：http://www.cnblogs.com/marost/p/4372778.html，该文写得比较详细。具体步骤如下： 在进行下面操作前，请确保hadoop已正确发布，部分验证方式： 1 通过http://192.168.1.XXX:50070/dfshealth.html#tab-overview（XXX为master机的ip地址）可以正常看到分布式集群信息，hd...
hsdf -- 6.21 -- day6
weixin_34206899的博客
06-21 117
差点忘写总结…… 这么快就到day6了啊 感觉前面写的总结都是苟屁，跟没有有什么区别…… 今天认真总结一下 最大的失误就是全程肝a题，最后还挂了…… 感觉今天方向偏了，由进行一次测试到仅仅是想要尽可能多的搞点什么事情…… 本末倒置了吧…… 然后就是没对拍……这个就不说了，py运行其他程序要学习一个…… 然后……也就这样了吧 发现猜性质不能仅仅大胆猜想，倒是不用验证，不过至少对拍一...
大数据技术之HFDS
Niklaus的博客
07-08 2296
大数据简介 一、大数据特征 - 6V 数据体量大，一般从TB级别开始计算 数据种类和来源多 数据的增长速度越来越快 数据的价值密度越来越低，但是这不意味着想要的数据越来越少，相反，想要的数据越来越多的，但是样本总量的增长速度是要高于想要的数据的增长速度的 数据的真实性/质量 数据的连通性 数据的动态性、数据的可视化、合法性 二、概述 Hadoop是Apache提供的一个开源的、可靠的、可扩展的系统架构，可以利用分布式架构来进行海量数据的存储以及计算 Hadoop之父：Doug Cutting（道格·卡
工作中常用的HDFS命令总结
Mrerlou的博客
04-13 246
一、ACL权限 查看当前/文件夹的权限 hsdf dfs -getfacl / 为root用户在/文件夹下添加rwx权限 hdfs dfs -setfacl -m user:root:rwx / 为root组在文件夹/下添加rwx权限 hdfs dfs -setfacl -m group:root:rwx / chown hdfs dfs -chown -R hdfs:hdfs /tmp chmod hdfs dfs -chmod 777 /tmp getmerge
HSDF查看各级目录的大小
weixin_30756499的博客
04-29 119
hadoop fs -du -h / 转载于:https://www.cnblogs.com/hark0623/p/10788702.html
基于Kinect传感器多深度图像融合的物体三维重建1
08-03
实验结果显示，该方法在使用Kinect传感器采集的37幅640×480分辨率的深度图像下，仅需48秒就能完成目标物体的三维重建，并能得到非常精细的重建效果。这种方法不仅速度快，而且重建质量高，证明了其在实际应用中的...
Basic Java Swing Game Engine-开源
05-27
BJSGE... gif示例图标：http://www.johncabot.edu/student_life/community-service/blood drive.jpg示例2-电视：http://1.bp.blogspot.com/-HsDf5m1S7EA/UaKVkFiD0XI/AAAAAAAAAUM/y4zX2YQ8Dhk /s1600
人基质细胞衍生因子-1基因转染成肌细胞及其表达
03-02
人基质细胞衍生因子-1基因转染成肌细胞及其表达，何等旗，唐休发，目的：探讨人基质细胞衍生因子-1（hSDF-1）基因转染SD大鼠成肌细胞后，转染细胞中 hSDF-1 基因的mRNA表达和蛋白表达。方法:采用胰酶胶原�
illikang#BigData-Learning-Notes#WordCount开发1
07-25
1. HSDF获取文件：需要计算的源文本存在于HDFS系统上 2. Input（文件输入）：HDFS中的文件都是以块（Block）为单位存储 3. Split
HDFS文件操作(命令行)
haijiege的专栏
07-19 1万+
  haddop fs -ls / (查询目录) hadoop fs -mkdir /test （在根目录下创建一个目录test） hadoop fs -put ./test.txt /test （将本地的test.txt文件上传到HDFS根目录下的test文件夹中去） hadoop fs -copyFromLocal ./test.txt /test （同...
Hadoop之HDFS的使用
郭龙飞的学习博客
02-20 2021
目录 HDFS介绍 HDFS基础操作 Java操作HDFS HDFS介绍 HDFS 是一种允许文件通过网络在多台主机上分享的文件系统，可以让多台机器上的多个用户分享文件和存储空间。 分布式文件管理系统有很多，HDFS 只是其中一种实现 注意：HDFS 不适合存储小文件（几KB或几M的小文件） HDFS基础操作 操作格式 hdfs dfs -xxx schema: // authority / path -xxx : 命令（读、写、创建、查看等） schema ：hdfs authority ：地
Hive常用命令
believe2017slwx的博客
04-12 966
hive命令行 hive --help --config hive配置文件路径 --service hive 服务 --auxpath 添加jar包(多个jar包用:分割) hive --service help Service List: beeline cli help hiveburninclient hiveserver2 hi...
hdfs dfs -put_通过HDFS中的`hdfs dfs -put`命令行上传文件时，如何设置一个文件的复制因子？...
cuma2369的博客
07-28 1万+
hdfs dfs -putWhen uploading a file by the hdfs dfs -put command line in HDFS, how to set a replication factor instead of the global one for that file? 通过HDFS中的hdfs dfs -put命令行上传文件时，如何为该文件设置复制因子而不是全局因子...
学习Hadoop第二十课（Hadoop集群的搭建）
u012453843的专栏
10-16 2549
上节课我们一起学习了Zookeeper集群的搭建，那只是个热身，这节课我们一起要学习的Hadoop集群的搭建才是重中之重。         首先还是先说一下Zookeeper在Hadoop集群的作用，以前我们学习Hadoop伪分布式的时候没有用到Zookeeper是因为伪分布式只有一个NameNode，没有Active和Standby状态的两个NameNode之说，因此根本就不需要Zookeep
javase知识点大全总结
热门推荐
赵宪福的博客
09-24 1万+
JAVASE知识点总结 Java基础语法 1.标识符 1.在java语言中，对各种变量，方法和类等要素命名时所使用的字符序列就是标识符。 这些标识符有jdk定义好的，也有我们自己开发时候需要定义的。 2.java中标识符由26个英文字符大小写，数字0-9，符号_ $。注意：数字不能开头。 3.java中是严格区分大小写 4.在实际写程序的过程中定义标识符遵守“见名之意”.  类名和接口的规范： ...
读取数据库数据，以报表的形式显示在前台网页（asp.net+echarts+ajax+数据库）
Yingyingjia的博客
10-17 4408
1、首先在VS2010里新建项目ASP.NET Web应用程序：WebApplication1； 在应用程序里新建项目：WebForm.aspx(Web窗体),Model.cs(类),Controller.cs(类),Handler.ashx(一般处理程序),WebForm.js(JScript文件); 2、(1)首先，创建一个Model类，对象实体化： namespace WebAppli...
大数据学习——Hadoop完全分布式环境搭建
wangyang163wy的博客
03-04 1442
搭建 Hadoop 2.7.2 完全分布式 搭建 Hadoop 2.7.2 完全分布式安装JDK安装 Hadoop设置免密钥登录解压 Hadoop 并配置环境变量配置相应的 Hadoop 的配置文件分发配置完成的 Hadoop 到其它节点格式化 NameNode启动 HSDF 和 YARN关闭 HDFA 和 YARN 搭建 Hadoop 2.7.2 完全分布式 我使用了4台虚拟机来搭建相对应的节点...
Hadoop学习(三)Hadoop Shell常用命令
cuibin1991的专栏
07-04 200
我用已经搭建好的Hadoop集群做命令的展示，首先要在hadoop路径下的bin目录下进行 查看Hadoop文件 ./hadoop fs -ls / Found 3 items drwxr-xr-x - hadoop supergroup 0 2019-04-18 16:41 /hbase001 drwxrwx--- - hadoop supergroup ...
docker 安装hsdf
最新发布
08-17
如果您想在Docker中运行Hadoop集群并使用HDFS，您可以按照以下步骤进行操作： 1. 首先，确保您已经安装了Docker和Docker Compose。 2. 创建一个用于存储HDFS数据的数据卷。可以使用以下命令： ``` docker volume...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值