![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop生态
文章平均质量分 67
pNull
这个作者很懒,什么都没留下…
展开
-
HIVE 基本命令
#hive 启动hive>quit; --退出hivehive> exit; --exit会影响之前的使用,所以需要下一句kill掉hadoop的进程>hadoop job -kill jobidhive>create database database_name; 创建数据库如果数据库已经存在就会抛出一个错误信息,使用如下语句可以避免抛出原创 2015-12-17 16:19:38 · 32253 阅读 · 1 评论 -
hadoop各版本下载
http://mirror.bit.edu.cn/apache/hadoop/common/原创 2016-11-30 10:38:05 · 14310 阅读 · 0 评论 -
三台机器搭建Hadoop集群
目标: 一台Master 两台Slave一、修改主机名,配置/etc/hosts文件 "/etc/hosts"这个文件是用来配置主机将用的DNS服务器信息,是记载LAN内接续的各主机的对应[HostName IP]用的。当用户在进行网络连接时,首先查找该文件,寻找对应主机名对应的IP地址。在/etc/hosts文件里面添加如下: 可以ping原创 2016-11-30 21:14:48 · 6132 阅读 · 0 评论 -
HiveSQL解析过程详解
原文:http://www.cnblogs.com/yaojingang/p/5446310.htmlHive是基于Hadoop的一个数据仓库系统,在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建,每天执行近万次的Hive ETL计算流程,负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。在几次升级Hive的过程中,我们遇到了一些大大小小的转载 2017-03-13 19:00:29 · 647 阅读 · 0 评论 -
MapReduce向Map函数传递参数: Configuration类
今天写MapReduce程序遇到一些问题,就是需要生成一个参数并将这个参数的值传递给MapReduce函数,但是不知道如何实现,于是找到了一些参考网站成功实现了,关键点就在于Configuration参数设置于获取以及我的实现是基于新的MapReduce的api实现的。[java] view plain copy Configurat原创 2017-03-13 19:55:30 · 3252 阅读 · 3 评论 -
hadoop 学习笔记:mapreduce框架详解
非常简单详细明了的一篇文章,手动点赞吧!转载 2017-03-13 18:56:15 · 326 阅读 · 0 评论 -
Hadoop中Writable和WritableComparable区别
Hadoop的key和value的传递序列化需要涉及两个重要的接口Writable和WritableComparable1> Writable:Java代码 void write(DataOutput out) throws IOException; void readFields(DataInput in) throws IOExcepti转载 2017-05-04 10:57:52 · 480 阅读 · 0 评论 -
hive 空值、null判断
hive中空值判断基本分两种(1)NULL 与 \Nhive在底层数据中如何保存和标识NULL,是由 alter table name SET SERDEPROPERTIES('serialization.null.format' = '\N'); 参数控制的比如:1.设置 alter table name SET SERDEPROPERTIES('serialization.原创 2017-03-14 18:19:22 · 8107 阅读 · 1 评论 -
hadoop生态圈介绍
原文链接:http://www.cnblogs.com/gridmix/p/5102694.html1. hadoop 生态概况Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。具有可靠、高效、可伸缩的特点。Hadoop的核心是YARN,HDFS和Mapredu转载 2016-11-29 15:04:34 · 366 阅读 · 0 评论 -
hive函数 -- split 字符串分割函数
原文链接: 点击打开链接hive字符串分割函数split(str, regex) - Splits str around occurances that match regexTime taken: 0.769 seconds, Fetched: 1 row(s)返回值为一个数组a.基本用法:例1:split('a,b,c,d','转载 2016-10-17 17:09:55 · 4609 阅读 · 0 评论 -
Hadoop读书笔记(1)
hadoop fs -ls hadoop fs -lsr hadoop fs -mkdir input //在HDFS上创建输入文件夹hadoop fs -put a.txt input //上传本地file中文件到集群的input目录下hadoop fs -ls input //在集群上运行WordCount程序hadoop jar /hadoop-2.2原创 2015-12-07 11:03:18 · 469 阅读 · 0 评论 -
一个Hadoop的小例子
1. 创建输入文件 echo "Hello World" > file1.txt echo "Hello Hadoop" > file2.txt 2. 在HDFS上创建输入文件夹 hadoop fs -mkdir input 3. 上传本地文件到集群的input目录下 hadoop fs -put ~/bingjie/file*.txt in原创 2015-12-17 18:26:28 · 646 阅读 · 0 评论 -
Hadoop中的一些概念
Hadoop:一个分布式系统架构,充分利用集群的威力进行高速运算和存储ZooKeeper: 是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。 是Hadoop和Hbase的重要组件。 是的 的地方 地方 Zookeeper集群的职责 1、负责监控整个hbas原创 2015-12-18 11:16:14 · 713 阅读 · 0 评论 -
hive 与 sql
原文地址:hive与sql 的点滴1. 顺序SQL的执行顺序:第一步:执行FROM第二步:WHERE条件过滤第三步:GROUP BY分组第四步:执行SELECT投影列第五步:HAVING条件过滤第六步:执行ORDER BY 排序I2. sql常用操作:DISTINCT即去重. as : 定义别名. havi转载 2016-08-23 10:35:56 · 3508 阅读 · 0 评论 -
hive 内置操作符
Hive的内置操作符与很多编程语言中的操作符相似,可以分为关系操作符、算术操作符、逻辑操作符和复合类型操作符,下面进行一一学习。关系操作符 关系操作符比较操作数并产生TRUE或者FALSE,需要注意的是Hive的相等比较为=,而不是= =。操作符类型描述A = B转载 2016-08-24 19:45:16 · 891 阅读 · 0 评论 -
hive 内置函数
参考链接: Hive常用字符串函数 Hive中复合数据结构简介以及一些函数的用法说明数学函数下面表格中的函数为Hive的内置数学函数,大部分当参数为NULL时返回NULL。返回类型函数名描述bigint round(do转载 2016-08-24 17:28:16 · 11971 阅读 · 0 评论 -
Hive 点滴
8、hql的执行顺序SQL的执行顺序:第一步:执行FROM第二步:WHERE条件过滤第三步:GROUP BY分组第四步:执行SELECT投影列第五步:HAVING条件过滤第六步:执行ORDER BY 排序7、hive中时间处理函数: (1)unix时间戳转换成为时间(日期 时间): 2016-08-22 11:23:34 fr原创 2016-08-24 20:08:39 · 350 阅读 · 0 评论 -
Hive分析窗口函数(五) GROUPING SETS,GROUPING__ID,CUBE,ROLLUP
GROUPING SETS,GROUPING__ID,CUBE,ROLLUP这几个分析函数通常用于OLAP中,不能累加,而且需要根据不同维度上钻和下钻的指标统计,比如,分小时、天、月的UV数。Hive版本为 apache-hive-0.13.1数据准备:2015-03,2015-03-10,cookie12015-03,2015-03-10,cookie52015-03转载 2016-10-12 20:39:33 · 271 阅读 · 0 评论 -
Hadoop FS Shell命令
调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。 对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认schem原创 2016-11-29 19:22:17 · 352 阅读 · 0 评论