hadoop
孩子加油孩子
我不怕千万人阻挡,只怕自己投降
展开
-
Hadoop参数汇总
http://www.cnblogs.com/peizhe123/p/5540845.html在网上查资料时看到的,在配置hadoop时参数很多,但不知道具体有什么用。看到这个果断收藏。Hadoop参数汇总linux参数JVM参数Hadoop参数大全core-default.xmlhdfs-default.xmlyarn-default.xmlH转载 2016-08-25 22:57:39 · 429 阅读 · 0 评论 -
centos 编译hadoop2.6.0-cdh-5.10.0源码
在网上搜了一篇博客,然后按照上面的步骤进行操作,http://blog.csdn.net/linlinv3/article/details/49358217 遇到的问题: 1、java版本:一定要jdk7,不能是jdk8,否则报错.提示java版本有问题。 2、安装protoc , ./configure –prefix=/usr/local/protoc/ ; make; mak原创 2017-04-11 20:24:19 · 1372 阅读 · 0 评论 -
hive sql语句转换成mapreduce
转:https://www.cnblogs.com/yaojingang/p/5446310.html 1.hive是什么? 2.MapReduce框架实现SQL基本操作的原理是什么? 3.Hive怎样实现SQL的词法和语法解析? 连接:http://www.aboutyun.com/thread-20461-1-1.html 美...转载 2017-04-28 11:33:52 · 19511 阅读 · 4 评论 -
hadoop hive hbase metrics jmx
hadoop监控指标的采集:通过jmx,获取数据。http://blog.csdn.net/u012948976/article/details/52270132深入了解How to monitor Hadoop metrics - Datadog和How to collect Hadoop metrics - Datadog对Hadoop Metrics: 作了全面的总结转载 2017-06-05 16:29:11 · 1425 阅读 · 0 评论 -
hadoop 集群中所遇到的问题
http://www.jianshu.com/p/5359f9ebfb18这篇博客总结了很多问题,有几个是我亲身遇到的,1、FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in secureMain:检查hostname是否在/etc/hosts文件中配置, 若无则将hostname配置到/etc转载 2017-06-15 18:46:16 · 305 阅读 · 0 评论 -
hadoop hdfs 原理
原文:http://www.cnblogs.com/tgzhu/p/5790565.html 在配置hbase集群将 hdfs 挂接到其它镜像盘时,有不少困惑的地方,结合以前的资料再次学习; 大数据底层技术的三大基石起源于Google在2006年之前的三篇论文GFS、Map-Reduce、 Bigtable,其中GFS、Map-Reduce技术直接支持了Apache Hado转载 2017-06-09 14:09:15 · 470 阅读 · 0 评论 -
HTTPFS 安装步骤及验证
昨天安装hdfs httpfs,遇到了几个问题,总是访问不成功,但在网上也查不到答案,今天总结一下:一、httpfs是什么?参考:http://debugo.com/hdfs-httpfs/官网:http://hadoop.apache.org/docs/r2.5.2/hadoop-hdfs-httpfs/ServerSetup.html1、httpfs是通过http协议来访问hdfs,自带to原创 2017-10-27 18:16:59 · 5597 阅读 · 3 评论 -
hive 服务
###一、hive服务 >hive由facebook开源,用来解决海量结构化日志的数据统计.> 1. 基于hadoop分布式文件能系统之上的数据仓库。> 2. 底层的存储架构是HDFS; 计算框架是mapreduce。> 3. hive将数据库和表以文件目录的形式存放HDFS或本地文件系统上;hive中表数据以文件的形式存放在文件系统中 [hive架构]: "https://cwiki.apa原创 2017-09-18 16:56:31 · 855 阅读 · 0 评论