hadoop
BinaryCSharp
这个作者很懒,什么都没留下…
展开
-
Hadoop 2.6 - WordCount
说明对于Hadoop而言,WordCount 相当于其他编程语言的Hello World。本文通过运行Hadoop 2.6 自带的 wordCount 实例,完成一次入门级的 Map Reduce 作业。WordCount 即通过 Map Reduce 对输入中的内容进行分词并计算每个单词出现的次数。WordCounthadoop jar $HADOOP_HOME/share/hadoop/mapr原创 2017-03-22 22:56:30 · 499 阅读 · 0 评论 -
hadoop 基础命令
HDFS 文件操作命令创建文件夹:hadoop fs -mkdir /input查看文件夹:hadoop fs -ls /input将文件放入hdfs:hadoop fs -put file.txt /input/从hdfs中拷出文件: hadoop fs -get /input/file.txt /home/daniel/tmp/查看hdfs中文件:hadoop fs -cat /inp原创 2017-03-22 23:08:50 · 877 阅读 · 0 评论 -
Hadoop 从 hdfs 中拷出文件权限不够
问题描述使用 -get 命令从 hdfs 中拷出文件时,提示权限不够,如下:hadoop@localhost:/usr/local/hadoop$ hadoop fs -get /input/LICENSE.txt /home/daniel/tmp/# get: /home/daniel/tmp/LICENSE.txt._COPYING_ (权限不够)问题分析可能出现问题的原因有三方面原创 2017-03-22 23:19:13 · 7833 阅读 · 0 评论 -
Hadoop 环境配置问题汇总(持续更新)
说明虽然已经写了一篇 ubuntu 下安装 Hadoop 的教程,但是有时安装Hadoop还是会出现一些环境配置的问题,将遇到的问题及解决办法在此进行汇总记录。同时,欢迎大家分享自己遇到的问题及解决办法。问题及解决办法JAVA_HOME 已经设置,但仍报错未设置集群模式的一个问题,需要在 hadoop-env.sh 中将 $JAVA_HOME 重新声明。启动 hdfs 时报错 IP: Host ke原创 2017-03-25 00:41:12 · 853 阅读 · 0 评论 -
Ubuntu_Hadoop_v2.6环境搭建
参考http://www.powerxing.com/install-hadoop/在原文基础上做了些许调整。安装环境: ubuntu 14.04 ,64位 下载: Oracle JDK 1.7 hadoop2.60、新增操作系统用户sudo useradd -m hadoop -s /bin/bashsudo passwd hadoopsudo adduser hadoop sud原创 2017-03-21 21:19:28 · 383 阅读 · 0 评论 -
Spark Transformation 简介
说明本片简单介绍一下 Spark Transformation 以及一些常用的 Transformation,由于刚开始接触,内容较少,后续持续完善。 参考资料: 慕课网视频: http://www.imooc.com/video/14397/0 知乎讨论(flatMap 与 Map)https://www.zhihu.com/question/34548588?sort=creat原创 2017-03-25 21:18:19 · 870 阅读 · 0 评论