hadoop
文章平均质量分 62
xiaolinzi007
这个作者很懒,什么都没留下…
展开
-
Hadoop平台Sqoop组件使用示例
常用命令(Sqoop 1.4.4.2.1.1.0-385和Hive 0.13.0.2.1.1.0-385):查询mysql所有数据库:sqoop list-databases --connect "jdbc:mysql://localhost:3306/" --username root --password 123456查询mysql数据库所有表:sqoop list-tables原创 2014-10-24 10:16:39 · 743 阅读 · 0 评论 -
impala的APPX_COUNT_DISTINCT参数
这个参数APPX_COUNT_DISTINCT=true,可以在一个select 有多条count子句,select count(id),count(pid) from t group by name,使用注意,官网说明:Allows multiple COUNT(DISTINCT) operations within a single query, by internally原创 2016-07-28 15:12:13 · 4688 阅读 · 0 评论 -
Hadoop YARN架构设计要点
转-原文地址:http://shiyanjun.cn/archives/1119.htmlYARN是开源项目Hadoop的一个资源管理系统,最初设计是为了解决Hadoop中MapReduce计算框架中的资源管理问题,但是现在它已经是一个更加通用的资源管理系统,可以把MapReduce计算框架作为一个应用程序运行在YARN系统之上,通过YARN来管理资源。如果你的应用程序也需要借助YARN的转载 2016-05-19 17:19:06 · 1495 阅读 · 0 评论 -
Hadoop 2.0 Yarn代码:NodeManager端代码分析_NM端各服务模块的启动
Hadoop 2.0 Yarn代码:NodeManager端代码分析_NM端各服务模块的启动1.概览以下介绍的NodeManager是如何启动和注册各个服务的主要涉及的Java文件hadoop-yarn-server-nodemanager下的包org.apache.hadoop.yarn.server.nodemanager NodeManager.转载 2016-05-19 17:09:05 · 458 阅读 · 0 评论 -
hadoop2.2.0完全分布式集群搭建
1.安装环境,使用vmvare四台虚拟机,操作系统centOS6.5-x86_64: (1)ip:192.168.169.10 , hostname:master #做为hadoop集群的master 配置:1核1G (2)ip:192.168.169.11 , hostname:slave1 #做为had原创 2014-11-08 15:59:50 · 535 阅读 · 0 评论 -
安装zookeeper集群
1.安装zookeeper版本为:zookeeper-3.4.6.tar.gz,下载地址:http://zookeeper.apache.org/2.安装zookeeper集群还是比较简单的,具体步骤如下: (1)解压压缩包zookeeper-3.4.6.tar.gz:tar zvxf zookeeper-3.4.6.tar.gz (2)进入zookeeper配置目录修改配原创 2014-11-19 15:05:25 · 500 阅读 · 0 评论 -
hadoop集群无法启动datanode节点
我遇到的这种问题是由于我多次格式化namenode造成的,后来启动hadoop集群namenode、SecondaryNameNode都起来了,然后到datanode节点执行jps指令,发现所有的datanode节点都没有起来。我的解决办法看datanode节点日志:java.io.IOException: Incompatible clusterIDs in /usr/h原创 2014-11-17 17:19:46 · 1099 阅读 · 0 评论 -
hdfs常用命令
1. -ls path列出path目录下的内容,包括文件名,权限,所有者,大小和修改时间。2. -lsr path与ls相似,但递归地显示子目录下的内容。3. -du path显示path下所有文件磁盘使用情况下,用字节大小表示,文件名用完整的HDFS协议前缀表示。4. -dus path与-du相似,但它还显示全部文件或目录磁盘使用情况原创 2014-10-30 10:16:12 · 482 阅读 · 0 评论 -
centOS6.5-64位系统下编译hadoop2.2.0源码解决依赖本地库问题
1.需要安装jdk、maven、protoc2.5.0环境,下载hadoop2.2.0、protoc2.5.0等源码包2.jdk、maven安装并配置环境变量很简单,这里不介绍。3.安装protoc依赖的gcc等支持: (1)yum install gcc (2)yum intall gcc-c++ (3)yum install make (4)y原创 2014-11-14 22:40:20 · 615 阅读 · 0 评论 -
canal-client的HA功能验证
测试题目:canal-client的HA功能验证测试平台:CentOS Linux release 7.1.1503 (Core) mariadb版本:10.1.14-MariaDB Canal版本:1.0.23测试方案:在测试机部署两台canal-server,配置为:172.17.1.181:22220和172.17.1.181:22221部署一台mariadb:172.17.原创 2016-10-26 14:25:58 · 1924 阅读 · 0 评论