hadoop
hyrem
这个作者很懒,什么都没留下…
展开
-
hadoop单点运行方式
前言 由于目前是hadoop学习阶段,不建议配置集群方式学习,只需要配置hadoop的单点运行,或者伪分布式模式,以降低学习成本,当对hadoop掌握一定基础知识以及hadoop的思想,可以考虑在多台机器部署安装集群方式。 Hadoop 的单节点集群运行的启动步骤 1.安装教程请查看博客《hadoop安装》; 2.格式化HDFS:$HADOOP_HOM原创 2016-11-30 14:14:12 · 1056 阅读 · 0 评论 -
hadoop单点安装以及配置【附件】
前言 hadoop安装版本为:hadoop-2.7.1。 下载hadoop Linux终端:wget http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz 配置SSH 1.配置ssh:ssh-keygen -t rsa -P "";原创 2016-11-30 14:14:18 · 678 阅读 · 0 评论 -
Hadoop HDFS Shell命令
HDFS介绍:http://blog.sina.com.cn/s/blog_67331d610102v3wl.html Hadoop Shell命令 参考教程:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS sh原创 2016-11-30 14:14:59 · 289 阅读 · 0 评论 -
在win7的idea访问centos部署的hadoop2.7.1问题集锦
hadoop程序安装包:/opt/package/hadoop-2.7.1;(具体hadoop安装请参考hadoop的安装教程!) 问题1::jps查看进程,没有datanode? 文件格式化$HADOOP_HOME/bin/hdfs namenode -format后,没有删除对应的元数据目录以及权限分配,可以监控hadoop启动日志(/opt/package/ha原创 2016-11-30 14:15:05 · 520 阅读 · 0 评论 -
【转载】MapReduce模型
MapReduce 是适合海量数据处理的编程模型。Hadoop是能够运行在使用各种语言编写的MapReduce程序: Java, Ruby, Python, and C++. MapReduce程序是平行性的,因此可使用多台机器集群执行大规模的数据分析非常有用的。 MapReduce程序的工作分两个阶段进行: Map阶段 Reduce 阶段 输入到每一个阶段均是键 -原创 2016-11-30 14:15:17 · 351 阅读 · 0 评论