2016年01月_xiaohei.info

09月 07月 05月 03月 02月 01月

原创 Hive配置与操作实践

Hive配置与操作实践@(Hadoop)安装hivehive的安装十分简单，只需要在一台服务器上部署即可。上传hive安装包，解压缩，将其配入环境变量。mysql的设置在要作为元数据库的mysql服务器上建立hive数据库：#建立数据库create database if not exists hive;#设置远程登录的权限GRANT ALL PRIVILEGES ON *.* TO 'root

2016-01-25 16:12:40 2075

原创关于Web界面查看日志的权限问题

关于Web界面查看日志的权限问题@(Hadoop)访问集群的8088端口，通过web ui查看作业日志时，发现没有权限查

2016-01-21 10:16:13 2464

使用rsync进行多服务器同步@(Others)当集群数量很大时，修改配置文件和节点之间的文件同步是一件很麻烦且浪费时间的事情。rsync是linux上实现不同机器之间文件同步、备份的工具，centos系统中默认已经安装，使用rsync -h检查是否已经安装rsync。使用前提确保各个节点部署的目录结构是一致的，不然同步起来很麻烦。使用过程在网上找到一大堆rsync的配置资料，然而使用起来不尽人意，

2016-01-20 16:09:29 3785

原创 Hadoop平台配置汇总

Hadoop平台配置汇总@(Hadoop)Hadoophadoop-env.sh和yarn-env.sh中export log和pid的dir即可和JAVA_HOME。core-site.xml<configuration><property><name>fs.defaultFS</name><value>hdfs://ns1</value></property><property><n

2016-01-15 16:44:59 703

原创 Hadoop 添加删除Slave

Hadoop 添加删除Slave@(Hadoop)在hdfs-site.xml文件中添加如下配置：<property><name>dfs.hosts</name><value>/root/jiangyuande/hadoop/etc/hadoop/datanode-allow.list</value></property><property><name>dfs.hosts.exclude<

2016-01-14 17:10:11 3192

原创 mr程序无法输出日志进行调试的解决方法

mr程序无法输出日志进行调试的解决方法@(Hadoop)yarn开启日志输出设置在yarn-site.xml文件中添加如下配置：<property><name>yarn.log-aggregation-enable</name><value>true</value></property><property><name>yarn.nodemanager.remote-app-log-dir<

2016-01-14 16:57:00 1759

原创 Hadoop数据目录迁移

Hadoop数据目录迁移@(Hadoop)随着数据的不断导入和增大，原本集群部署的目录磁盘空间不足了，所以要把hadoop存储数据的位置迁移到另外一个巨大的磁盘上，另外的一个用意是将数据和程序分离开，以免互相影响。以下是迁移过程和需要注意的一些地方：动手之前先把集群停止，如果有hbase也一起停了，因为hbase的存储是依赖于hdfs的，如果没有停止就进行目录迁移hbase会出现错误。修改配置文件h

2016-01-13 21:43:14 8248

原创 Oracle数据迁移至HBase操作记录

Oracle数据迁移至HBase操作记录@(HBase)近期需要把Oracle数据库中的十几张表T级别的数据迁移至HBase中，过程中遇到了许多苦难和疑惑，在此记录一下希望能帮到一些有同样需求的兄弟。HBase表设计首先，是根据Oracle的数据规划HBase的表和表结构。从业务上看，十几张表大概可以分为两大部分：交易信息客户操作刚开始的计划是将所有表都导入HBase中

2016-01-12 21:57:38 8370 3

原创 Hadoop端口一览表

Hadoop端口一览表@(Hadoop) 端口名用途 50070 Hadoop Namenode UI端口 50075 Hadoop Datanode UI端口 50090 Hadoop SecondaryNamenode 端口 50030 JobTracker监控端口 50060 TaskTrackers端口 8088 Yarn任务监控端口

2016-01-12 17:21:43 7265 1

原创 Hadoop Maven pom文件示例

Hadoop Maven pom文件示例@(Hadoop)<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schema

2016-01-12 16:17:29 5136

原创 HBase设计与开发

HBase设计与开发@(HBase)基本概念行健：是hbase表自带的，每个行健对应一条数据。列族：是创建表时指定的，为列的集合，每个列族作为一个文件单独存储，存储的数据都是字节数组，其中的数据可以有很多，通过时间戳来区分。物理模型：整个hbase表会拆分为多个region，每个region记录着行健的起始点保存在不同的节点上，查询时就是对各个节点的并行查询，当region很大时使用.MET

2016-01-12 16:14:15 2737

原创 Sqoop操作实践

Sqoop操作实践@(Hadoop)Sqoop常用参命令序号命令/command 类说明 1 impor ImportTool 从关系型数据库中导入数据(来自表或者查询语句)到HDFS中 2 export ExportTool 将HDFS中的数据导入到关系型数据库中 3 codegen CodeGenTool 获取数据库中某张表数据

2016-01-12 16:12:58 6184 1