hadoop
向往的生活Life
分享
展开
-
hadoop随记
hadoop的配置文件 hadoop的每个组件都使用一个XML文件配置,核心属性在core-site.xml中,HDFS在hdfs-site.xml配置文件中配置,MapReduce属性在mapred-site.xml配置文件中配置,这些文件都在conf子目录中。 hadoop可以在三个模式中运行 本地模式、伪分布模式,完全分布模式 本地模式:没有守护进程会进行运行而且一切都运行在单原创 2014-03-15 13:32:26 · 1804 阅读 · 0 评论 -
大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合
转载至: http://www.aboutyun.com/thread-6855-1-1.html 个人观点:大数据我们都知道hadoop,但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理,hadoop还是比较适合的,但是对于实时性比较强的,数据量比较大的,我们可以采用Storm,那么Storm和什么技术搭配,才能够做一个适合自己的项目。下面给大家可以参考。 可以带着下面问题来转载 2015-04-21 22:34:40 · 882 阅读 · 0 评论 -
Hadoop(2.7.0)伪分布式环境CentOS(7.0 64位)配置
Hadoop(2.7.0)伪分布式环境CentOS(7.0 64位)配置 1、实现ssh无密码验证配置 2、安装jdk,并配好环境变量 3、安装与配置Hadoop 4、格式化与启动 5、验证是否启动 一. SSH无密码验证配置 Hadoop 需要使用SSH 协议,namenode 使用SSH 协议启动 namenode 和d原创 2015-11-24 15:00:55 · 1521 阅读 · 0 评论 -
hive中遇到的几个问题
1. 在Hive中使用show tables;create table tablename(xx string,yy string);等命令时 报错: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:javax.jdo.JDOD原创 2015-11-29 19:21:26 · 4834 阅读 · 0 评论