hive
fly-iot
没什么大不了,一直写代码。
展开
-
hadoop(1):centos 安装 hadoop & hive
1,关于hiveHive是一个基于Hadoop的数据仓库平台。通过hive,我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言:HQL,能 够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。Hive是Facebook 2008年8月刚开源的一个数据仓库框架,其系统目标与 Pig 有相似之处,但它有一些Pig目前还不支持的机制,比如:更丰富的类型系统、更类原创 2015-08-14 17:09:17 · 4427 阅读 · 0 评论 -
hadoop(2): 安装&使用 sqoop
1,关于sqoopSqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。官网:http://sqoop.apache.org/ 一个1.4.6 版本,一个是1.99版本(开发版还没有迁移完成,生产环境不推荐)文档:原创 2015-08-18 17:42:03 · 2325 阅读 · 0 评论 -
使用docker 快速搭建一个 hive 的服务器,然后就可以本地测试使用了。
1,关于hivehive是一个类似sql的大数据处理框架。底层还是map reduce。 自己本地想要执行测试些sql 语句啥的,主要是方便学习。 要折腾一个下,还是docker 方便。找一个 centos 的基础镜像。 然后 用 cdh 进行安装 hive。2,安装 cdhhttps://www.cloudera.com/documentation/enterprise...原创 2018-08-25 09:59:30 · 2918 阅读 · 1 评论 -
使用docker 快速搭建一个 hive 的服务器(2)
docker 使用 centos 安装cdh 的hive ,最优雅的方式安装。重点在于学习 hive 的语法,sql 。真正的弄起来,有运维大哥帮忙。开发还是做业务分析的好。折腾起来就可以学习hive了。主要还是aliyun 删除掉内网的地址就可以啦。方便了。原创 2018-08-29 19:13:02 · 2105 阅读 · 0 评论