- 博客(5)
- 收藏
- 关注
RSS订阅转载 Sqoop整合HBase
sqoop是一个数据导入导出的工具，可以将关系型数据库当中的数据导入到大数据平台来，也可以将大数据平台当中的数据导入到关系型数据库当中去，我们也可以通过sqoop导入数据到hbase或者从hbase当中导出数据。修改sqoop配置文件sqoop导入导出HBase的数据，需要修改sqoop的配置文件sqoop-env.shcd /export/servers/sqoop-1.4.6-cdh5....
2019-03-11 20:27:18
580
转载 Hive与HBase的整合
hive与我们的hbase各有千秋，各自有着不同的功能，但是归根接地，hive与hbase的数据最终都是存储在hdfs上面的，一般的我们为了存储磁盘的空间，不会将一份数据存储到多个地方，导致磁盘空间的浪费，我们可以直接将数据存入hbase，然后通过hive整合hbase直接使用sql语句分析hbase里面的数据即可，非常方便。第一步：拷贝hbase的五个依赖jar包到hive的lib目录下将我...
2019-03-11 17:44:43
173
转载 HBase的集群环境搭建
注意事项：HBase强依赖zookeeper和hadoop，安装HBase之前一定要保证zookeeper和hadoop启动成功，且服务正常运行。第一步：下载对应的HBase的安装包所有关于CDH版本的软件包下载地址如下http://archive.cloudera.com/cdh5/cdh/5/HBase对应的版本下载地址如下http://archive.cloudera.com/cd...
2019-03-10 17:56:16
158
转载 spark的集群环境安装搭建
1、spark local模式运行环境搭建常用于本地开发测试，本地还分为local单线程和local-cluster多线程;该模式被称为Local[N]模式，是用单机的多个线程来模拟Spark分布式计算，直接运行在本地，便于调试，通常用来验证开发出来的应用程序逻辑上有没有问题。其中N代表可以使用N个线程，每个线程拥有一个core。如果不指定N，则默认是1个线程（该线程有1个core）。如...
2019-03-05 14:24:19
356
转载 Scala编译器安装
1、 安装JDK因为Scala是运行在JVM平台上的，所以安装Scala之前要安装JDK。2、安装ScalaWindows安装Scala编译器访问Scala官网http://www.scala-lang.org/下载Scala编译器安装包，目前最新版本是2.12.x，这里下载scala-2.11.8.msi后点击下一步就可以了（自动配置上环境变量）。也可以下载scala-2.11.8....
2019-03-01 10:30:36
249
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人