![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 58
huhuijun123
这个作者很懒,什么都没留下…
展开
-
Hadoop作业调优参数调整及原理
高清视频地址:http://v.gotomao.com/video-search?q=hadoop 第一部分:core-site.xml •core-site.xml为Hadoop的核心属性文件,参数为Hadoop的核心功能,独立于HDFS与MapReduce。 参数列表 •fs.default.name •默认值 file:/// •说明:设置Hadoop namenode的...原创 2014-01-15 10:20:11 · 93 阅读 · 0 评论 -
hadoop集群部署
1) 安装jdk 下载jdk-6u21-linux-i586.bin 然后修改/etc/profile: export JAVA_HOME=/usr/local/jdk export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$PATH:$JAVA_HOME/bin 保存,并执行s...原创 2015-05-08 15:47:36 · 63 阅读 · 0 评论 -
Hadoop集群的配置调优
一、背景 Hadoop的集群使用也有些时候了,不过都是小集群的使用(数量小于30台)。在这个 过程中不断的进行着配置调优的操作。最早的时候,在网上也没有找到一些合适的配置调优方法,于是,我在这里列举一些基本的调优配置,以供参考。最后,还有 一个我自己的测试环境的配置说明,也可以参看一下。 二、环境和配置 1. 版本和环境 Ø Hadoop版本:apache发布的0.21 ...原创 2015-04-30 18:22:39 · 116 阅读 · 0 评论 -
精通hadoop
1.Hadoop是什么 Hadoop原来是ApacheLucene下的一个子项目,它最初是从Nutch项目中分离出来的专门负责分布式存储以及分布式运算的项目。简单地说来,Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。 2.下面列举hadoop主要的一些特点: 1扩容能力(Scalable):能可靠地(reliably)存储和处理千兆字节(PB)数据。 2成本低(Econ...原创 2013-10-22 09:58:58 · 173 阅读 · 0 评论 -
hive中的时间处理函数
日期函数UNIX时间戳转日期函数: from_unixtime语法: from_unixtime(bigint unixtime[, string format]) 返回值: string 说明: 转化UNIX时间戳(从1970-01-01 00:00:00 UTC到指定时间的秒数)到当前时区的时间格式 举例: hive> select from_unixtime(1323...原创 2014-03-18 12:32:10 · 114 阅读 · 0 评论 -
hadoop集群监控工具ambari安装
Apache Ambari是对Hadoop进行监控、管理和生命周期管理的基于网页的开源项目。它也是一个为Hortonworks数据平台选择管理组建的项目。Ambari支持管理的服务有: Apache HBase Apache HCatalog Apache Hadoop HDFS Apache Hive Apache Hadoop MapReduce Apache Oozie Apache ...原创 2014-03-14 10:55:50 · 182 阅读 · 0 评论 -
利用sqoop将hive数据导入导出数据到mysql
运行环境 centos 5.6 hadoop hive sqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具 在使用过程中可能遇到的问题: sqoop依赖zookeeper,所以必须配置ZOOKEEPER_HOME到环境变量中。 sqoop-1.2.0-CDH3B4依赖hadoop-core-0.20.2-...原创 2014-03-14 10:53:48 · 2434 阅读 · 0 评论 -
hive的Specified key was too long; max key length is 767 bytes问题解决
当在hive中show table 时如果报以下错时 FAILED: Error in metadata: javax.jdo.JDODataStoreException: Error(s) were found while auto-creating/validating the datastore for classes. The errors are printed in the ...原创 2014-01-22 22:45:04 · 117 阅读 · 0 评论 -
Hadoop MapReduce高级编程
高清视频地址:http://v.gotomao.com/video-search?q=hadoop 第一部分:重要的组件 Combiner •什么是Combiner •combine函数把一个map函数产生的<key,value>对(多个key, value)合并成一个新的<key2,value2>. 将新的<key2,value2>作为输...原创 2014-01-15 10:24:29 · 76 阅读 · 0 评论 -
Hadoop RestFul
高清视频地址:http://v.gotomao.com/video-search?q=hadoop 第一部分:什么是REST 与RESTful •什么是REST及RESTful REST 描述了一个架构样式的互联系统(如 Web 应用程序)。REST 约束条件作为一个整体应用时,将生成一个简单、可扩展、有效、安全、可靠的架构。由于它简便、轻量级以及通过 HTTP 直接传输数据...原创 2014-01-15 10:23:22 · 65 阅读 · 0 评论 -
Hadoop 集群安装
高清视频地址:http://v.gotomao.com/video-search?q=hadoop 第一部分:环境规划 •用户 test 密码 test •机器 主机名 IP 角色 bigdata-1 172.16.206.205 NameNode JobTraker Sencondary Name...原创 2014-01-15 10:22:27 · 74 阅读 · 0 评论 -
hadoop集群默认配置和常用配置
获取默认配置 配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文 件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个hadoop版本不同,导致无法生效。浏览 更多的配置,有两个方法:1.选择相应版本的hadoop,下载解压后,搜索*.xml,找到core-defa...原创 2015-05-08 17:28:09 · 58 阅读 · 0 评论