![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
kaiseu
把你的心给我一小部分,把我的整个拿去...
展开
-
上传本地文件到HDFS
1.上传文件 切换到hadoop 安装目录,启动hadoop,然后输入命令:bin/hdfs dfs -mkdir /alidata,在hdfs上创建alidata文件夹 浏览器查看hdfs: 上传文件到alidata文件夹: 命令:bin/hdfs dfs -put /home/kaiseu/TianChi /alidata/ 查看结果:原创 2015-04-05 09:32:43 · 49868 阅读 · 2 评论 -
hdfs查看集群目录报javaIO异常
查看日志发现: 查看文件权限: 于是修改权限为hadoop: 再次查看,问题解决: 文件权限很关键啊!!原创 2015-05-31 11:06:25 · 812 阅读 · 0 评论 -
hadoop集群格式化namenode出现异常
安装完hadoop2.6.0的集群后,格式化namenode 的时候出现异常: 发现是hadoop数据存储目录权限的问题: 可以看到mydata目录的所有者是root,修改其所有者为hadoop: 然后再格式化: 没有问题了。原创 2015-05-31 09:43:53 · 2734 阅读 · 0 评论 -
Spark-submit提交任务到集群
1 IDEA 打包 示例代码参考AMPCamp2015之SparkSQL,开发环境使用idea。首先需要将程序打包成jar 选择project structure --》artifacts ,由于集群已经有了运行依赖的jar包,打包时可以将这些jar包排除出去,以减小打包后的jar包的大小。 点击ok,然后选择build --》build artifacts,原创 2015-06-19 16:01:26 · 73388 阅读 · 0 评论 -
Ubuntu 客户端安装handoop2.6.0并连接到集群
1 将hadoop1上安装的hadoop260目录拷贝到客户端/app/hadoop/目录下: 2 修改相关配置文件 配置文件在目录:hadoop260/etc/hadoop 修改此目录下hadoop-env.sh,指定本机的java安装目录,本客户端与集群上hadoop1的java安装目录相同,所以不用修改。 修改/etc/profile文件:原创 2015-06-01 15:39:32 · 923 阅读 · 0 评论 -
CentOS安装hadoop2.6.0
1 下载hadoop2.6.0版本,解压到目录/app/hadoop,重命名文件夹名为hadoop260 2 文件配置 修改环境变量: 修改hadoop变量的值: 修改slaves文件 root@kaiseu-ubuntu:/app/hadoop/hadoop260/etc/hadoop# vi slaves原创 2015-05-29 19:06:44 · 1249 阅读 · 0 评论 -
Spark1.3.1集群部署
1 java安装 2 ssh无密码登陆 3 spark安装包解压 4 spark配置文件配置 文件 conf/slaves:增加3个节点 文件 conf/spark-env.sh: 拷贝安装目录到hadoop2,hadoop3: 启动集群: 浏览器访问: 5 客户端安装原创 2015-06-01 18:57:11 · 1373 阅读 · 0 评论 -
AMPCamp2015之SparkSQL
1 数据准备 1.1 实验数据基于AMPCamp2015的exercise,原始数据在U盘的/data目录中,首先将数据上传到hdfs 2 开始实验 2.1 启动spark-shell 监控界面如下: 2.2 代码 2.2.1 创建SQLContext val sqlContext = new org.apache.spark.sql.原创 2015-06-09 16:11:04 · 2241 阅读 · 0 评论 -
AMPCamp2015之SparkStreaming wordCount
1 之前已经搭建好hadoop和spark集群 2 练习使用sparkStreaming对文本单词计数 2.1 首先启动集群 这是hadoop集群监控页面: 这是spark监控页面: 2.2 在hdfs上创建文件夹/test/tmp,用于存放待计数的文件 创建后的hdfs系统如下: 2.3 在客户端/app/hadoop/下有一个待计数原创 2015-06-06 11:02:11 · 1234 阅读 · 0 评论