lusijie的博客

[整理]Centos6.5 + hadoop2.6.4环境搭建 搭建Hadoop集群环境（3台机器） 1 准备环境 1.1 安装系统，并配置网络使3台机器互联互通，且SSH可直连（无需密码、保存私钥） 1.1.1 安装系统 安装Centos 6.5系统 安装过程略 1.1.2 配置网络 设置三台机器的iP分别为 IP 主机名称

1、sqoop简介     sqoop是一个用来将hadoop中hdfs和关系型数据库中的数据相互迁移的工具，可以将一个关系型数据库（mysql、oracle等）中的数据     导入到hadoop的hdfs中，也可以将hdfs的数据导入到关系型数据库中。 2、sqoop的特点：     sqoop的底层实现是mapreduce，所以sqoop依赖于ha

1. 查询mysql中的数据库 sqoop list-databases --connect jdbc:mysql://haoguan-HP-Compaq-Pro-6380-MT:3306 --username root --password 123456   2. import从mysql中导入数据到hdfs create database testdb; use

命令基本格式: hadoop fs -cmd 1.ls hadoop fs -ls / 列出hdfs文件系统根目录下的目录和文件 hadoop fs -ls -R / 列出hdfs文件系统所有的目录和文件 2.put hadoop fs -put local file > file > hdfs file的父目录一定要存在，否则命令不会执行

如何将mysql数据导入Hadoop之Sqoop安装 　　Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。Sqoop项目开始于

一、准备 虚拟机与编译hadoop">1. 安装虚拟机与编译Hadoop   创建3个虚拟机，分别为hsm01, hss01, hss02 hostname ip hsm01 192.168.99.145 hss01 192.168.99.151 hss02 192.168.99.152 2. 配置服务器

1.配置yum源 Xftp 10.72.39.160  /etc/yum.repo.d/RHEL.repo 目的机器上： cd /etc/yum.repos.d/ mkdir bak mv CentOS-*.repo bak yum clean all yum makecache yum list   2.编译64位库 yum in

有时候hbase启动后，通过hbase的shell命令status发现节点都是活着的，但运行其它命令比如list等等时，会报错如： org.apache.hadoop.hbase.NotServingRegionException: Region is not online: .META.,,1   这个原因经过验证，很可能是zookeeper引起的，通常这种情况往往是在你正在运

下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下： 名称 命令表达式 创建表 create '表名称', '列名称1','列名称2','列名称N' 添加记录       put '表名称', '行名称', '列名称:', '值'

centos6.5环境下Zookeeper-3.4.6集群环境部署 【系统】Centos 6.5 集群部署 【软件】准备好jdk环境，此次我们的环境是open_jdk1.8.0_101 　　　　zookeeper-3.4.6.tar.gz 【步骤】 1. 准备条件 如果有内部dns或者外网有域名，则直接使用域名 如果没有需要修改/etc/hosts文件，或者直接使用

问题导读：         1、--hbase-table、--hbase-row-key、--column-family及--hbase-create-table参数的作用？         2、Sqoop将关系型数据库表中数据导入HBase中，默认Rowkey是什么？         3、如果关系型数据库表中存在多关键字，该怎么办？ 一、简介及部分重要参数介绍  

问题导读：          1、--hive-import、--hive-overwrite的作用？          2、如何处理关系型数据库字段中字符串含有分隔符问题？          3、使用--hive-import默认字段分隔符是？一行记录分隔符是？          4、NULL值是怎么处理的？--null-string和--null-string的作用？

数据库操作 查看所有的数据库 hive> show databases ; 使用数据库default hive> use default; 查看数据库信息 hive > describe database default;  OK  db_name comment location owner_name owner_type parame