hdfs
kaiseu
把你的心给我一小部分,把我的整个拿去...
展开
-
上传本地文件到HDFS
1.上传文件切换到hadoop 安装目录,启动hadoop,然后输入命令:bin/hdfs dfs -mkdir /alidata,在hdfs上创建alidata文件夹浏览器查看hdfs:上传文件到alidata文件夹:命令:bin/hdfs dfs -put /home/kaiseu/TianChi /alidata/查看结果:原创 2015-04-05 09:32:43 · 49911 阅读 · 2 评论 -
hdfs查看集群目录报javaIO异常
查看日志发现:查看文件权限:于是修改权限为hadoop:再次查看,问题解决:文件权限很关键啊!!原创 2015-05-31 11:06:25 · 844 阅读 · 0 评论 -
hadoop集群格式化namenode出现异常
安装完hadoop2.6.0的集群后,格式化namenode的时候出现异常:发现是hadoop数据存储目录权限的问题:可以看到mydata目录的所有者是root,修改其所有者为hadoop:然后再格式化:没有问题了。原创 2015-05-31 09:43:53 · 2753 阅读 · 0 评论 -
Ubuntu 客户端安装handoop2.6.0并连接到集群
1 将hadoop1上安装的hadoop260目录拷贝到客户端/app/hadoop/目录下:2 修改相关配置文件配置文件在目录:hadoop260/etc/hadoop修改此目录下hadoop-env.sh,指定本机的java安装目录,本客户端与集群上hadoop1的java安装目录相同,所以不用修改。修改/etc/profile文件:原创 2015-06-01 15:39:32 · 942 阅读 · 0 评论 -
AMPCamp2015之SparkSQL
1 数据准备1.1 实验数据基于AMPCamp2015的exercise,原始数据在U盘的/data目录中,首先将数据上传到hdfs2 开始实验2.1 启动spark-shell监控界面如下:2.2 代码2.2.1 创建SQLContextval sqlContext = new org.apache.spark.sql.原创 2015-06-09 16:11:04 · 2290 阅读 · 0 评论 -
AMPCamp2015之SparkStreaming wordCount
1 之前已经搭建好hadoop和spark集群2 练习使用sparkStreaming对文本单词计数2.1 首先启动集群这是hadoop集群监控页面:这是spark监控页面:2.2 在hdfs上创建文件夹/test/tmp,用于存放待计数的文件创建后的hdfs系统如下:2.3 在客户端/app/hadoop/下有一个待计数原创 2015-06-06 11:02:11 · 1256 阅读 · 0 评论