强悍de巨人

也许生于世上,无重要作为,仍有这份积累会留下......

【若泽大数据实战第二十天】Sqoop-1.4.6-cdh5.7.0.tar.gz安装 + Sqoop help

Sqoop安装1 下载1.    下载地址http://archive.cloudera.com/cdh5/cdh/5/2.    环境sqoop-1.4.6-cdh5.7.0.tar.gz版本2 上传到linux上,并解压[hadoop@hadoop000 software]$ tar -xzv...

2018-06-25 12:05:40

阅读数:145

评论数:0

【若泽大数据实战第十九天】自定义函数sayhello 注册到hive 源码中,并且重新编译hive

环境: hive-1.1.0-cdh5.7.0 包 放在了 /root 下面 cdh 采用 cdh5.7.0 目标: 将自定义函数sayhello  注册到hive 源码中,并且重新编译hive1、编写UDF (1)使用idea+maven,在maven中添加相关参数。 重要的是 hadoop-c...

2018-06-17 00:52:52

阅读数:79

评论数:0

【若泽大数据实战第十九天】Hive 函数UDF开发以及永久注册udf函数

前言:回顾想上期课程,上次课我们讲了聚合函数,多进一出

2018-06-17 00:52:39

阅读数:116

评论数:0

【若泽大数据实战第十八天】Hive - 创建测试表dual的使用

-- 创建 dual 表(只有在测试的时候用insert)hive> create table dual(x string); OK Time taken: 0.282 seconds hive> insert into table dual value...

2018-06-12 00:29:13

阅读数:277

评论数:0

【若泽大数据实战第十八天】Hive - DML 分区表 内部函数

前言:上一堂课回顾总结:大数据开发最主要做底层的优化架构的优化,这些东西才是核心,写代码用的不多,做平台化,开发一个平台直接在页面上拖拽就可以了,底层的数据平台都已经封装好了,只是会某一个功能,只能说是大数据开发的入门,初级程序员做的事。Oracle在大数据几乎不用,只用一些轻量级的数据库。讲了D...

2018-06-11 21:37:20

阅读数:161

评论数:0

【若泽大数据实战第十八天】Hive - 常用建表及语法

创建数据库CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=p...

2018-06-07 20:06:12

阅读数:137

评论数:0

【若泽大数据实战第十八天】Hive - DML整理版

1. 相关说明DML=Data Manipulation Language 数据操作语言。HIVE的DML中,update和delete一般不会用,生产数据是不会删除的,常用overwrite和load做数据的转换。insert into values 也一般不会用,离线批处理,一些实时的数据in...

2018-06-07 19:24:27

阅读数:107

评论数:0

【若泽大数据实战第十七天】Hive - DDL 整理版

1. 相关说明DDL=Date Definition Language,数据定义语言。学习hive的HQL的DDL相关语法,建议对照官方WIKI,因为语法参数较多,而且和SQL多有相似,不建议记忆,梳理一下,记住相关可以实现的功能和注意点以及和SQL之间的区别即可。 官方WIKI打开: 浏览器访问...

2018-06-07 19:21:10

阅读数:169

评论数:0

【若泽大数据实战第十八天】Hadoop MySQL 服务自启动配置

配置mysql服务自启动[root@hadoop000 ~]# cd /usr/local/mysql#将服务文件拷贝到init.d下,并重命名为mysql [root@hadoop000 mysql]# cp support-files/mysql.server /etc/rc.d/init.d...

2018-06-07 15:37:04

阅读数:140

评论数:0

【若泽大数据实战第十七天】Hive - DDL + DML Hive日志路径修改

前言:上一个章节,若泽给我们讲的第一堂课Hive,详细的总结了,有关Hive的各种信息,本次课程讲讲Hive的 DDLDatabaseHive中包含了多个数据库,默认的数据库为default,对应于HDFS目录是/user/hadoop/hive/warehouse,可以通过hive.metast...

2018-06-06 01:02:25

阅读数:231

评论数:0

【若泽大数据实战第十七天】Hadoop-2.6.0-cdh5.7.0安装详解

前言:apache hadoop版本告一段落,现在安装新的cdh版本的hadoop下载Hadoop和JDK下载Hadoop地址:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz下载jdk:注册甲骨文账号下载,推荐...

2018-06-03 02:38:47

阅读数:463

评论数:0

【若泽大数据实战第十六天】Hive的安装部署 + 课程一个月总结

前言:Hadoop的课程已经告一段落,基本上在零基础课程里不会再出现了,接下来的课程由若总来上,第一讲Have。复习前一个月的课程内容:1、LinuxLinux: 文件(*****) 权限(*****) 压缩/解压(*****) 软件安装: JDK/MySQL/Hadoop/...(***...

2018-06-02 18:43:37

阅读数:377

评论数:2

提示
确定要删除当前文章?
取消 删除
关闭
关闭