hadoop
文章平均质量分 79
fantasydreams
这个作者很懒,什么都没留下…
展开
-
使用命令行编译打包运行自己的MapReduce程序 Hadoop2.4.1
网上的MapReduce WordCount教程对于如何编译WordCount.java几乎是一笔带过… 而有写到的,大多又是 0.20 等旧版本版本的做法,即 javac -classpath /usr/local/hadoop/hadoop-1.0.1/hadoop-core-1.0.1.jar WordCount.java,但较新的 2.X 版本中,已经没有 hadoop-core*.jar转载 2015-06-18 16:27:16 · 2660 阅读 · 0 评论 -
Centos配置Hadoop环境变量
centos7 && hadoop-2.7.0.tar.gzHadoop基于java环境,所以需要配置jdk。 1、配置jdk: http://blog.csdn.net/fantasydreams/article/details/46486275 2、下载hadoop-2.7.0.tar.gz包,通过ssh上传至centos操作系统 最新hadoop下载地址: http://hado原创 2015-06-13 23:44:50 · 8741 阅读 · 0 评论 -
hadoop常见错误及解决
WARN org.apache.hadoop.hdfs.server.common.Util: Path /usr/mywind/name should be specified as a URI in configuration files. Please update hdfs configuration. 问题定位:hdfs-site.xml 问题原因: 1) 不合规范的URI格式转载 2015-06-15 12:41:08 · 5552 阅读 · 0 评论 -
大数据的存储与处理
环境虚拟主机:centos7两台vmware 11.0jdk-8u45-linux-x64hadoop-2.7.0* 一、单机模式的Hadoop分布式环境安装和运行*所需环境: 两台centos7.0 64位虚拟机 hadoop-2.7.0 jdk-8u45-linux-x64通过ssh将Hadoop和javaJDK上传入虚拟机 分别进行解压并更改权限(代码序列如下)tar –vxz原创 2016-01-02 19:55:21 · 2244 阅读 · 0 评论 -
Map-Reduce程序设计
任务一 现有一批路由日志(有删减),需要提取MAC地址和时间,删去其它内容,利用MapReduce思想设计程序实现。实验步骤将hadoop下的output文件夹删除,并建立input文件夹hdfs dfs -rm -R /outputhdfs dfs -mkdir /inputhdfs dfs -ls /在Centos主机/tmp目录下新建tel_log文件,并将log信息填入此文件,并原创 2016-01-02 20:11:06 · 1310 阅读 · 0 评论