![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
BigData
清风飏
有条理,有规划,忙而不乱
展开
-
hive中启动metastore
进入hive_home目录下输入命令:启动metastore:bin/hive--service metastore后台启动:bin/hive --service metastore 2>&1 >> /var/log.log &后台启动,关闭shell连接依然存在:nohup bin/hive --service me原创 2016-11-01 23:41:39 · 7039 阅读 · 0 评论 -
shell的 if 命令
if 语句格式if 条件then Commandelse Commandfi 别忘了这个结尾If语句忘了结尾fitest.sh: line 14: syntax error: unexpected end of fi if 的三种条件表达式ifcommandthen if 函数then 命令执行成功,等于返回0 (转载 2016-09-20 23:29:49 · 570 阅读 · 0 评论 -
shell控制流
转载:http://www.cnblogs.com/chengmo/archive/2010/10/14/1851434.htmllinux shell有一套自己的流程控制语句,其中包括条件语句(if),循环语句(for,while),选择语句(case)。下面我将通过例子介绍下,各个语句使用方法。 一、shell条件语句(if用法)if语句结构[if/then/e转载 2016-08-01 08:33:02 · 326 阅读 · 0 评论 -
linux shell自定义函数(定义、返回值、变量作用域)介绍
转载:http://www.jb51.net/article/33899.htmlinux shell 可以用户定义函数,然后在shell脚本中可以随便调用。下面说说它的定义方法,以及调用需要注意那些事项。一、定义shell函数(define function)语法:[ function ] funname [()]{action;[re转载 2016-08-01 08:42:43 · 410 阅读 · 0 评论 -
shell变量基础
转载:http://www.cnblogs.com/barrychiao/archive/2012/10/22/2733210.html1 shell变量基础shell变量是一种很“弱”的变量,默认情况下,一个变量保存一个串,shell不关心这个串是什么含义。所以若要进行数学运算,必须使用一些命令例如let、declare、expr、双括号等。shell变量可分为两类:局部变量和环境变量。转载 2016-08-01 08:29:00 · 442 阅读 · 0 评论 -
hadoop的三种运行模式
转载:http://www.2cto.com/kf/201607/522848.htmlHadoop的运行模式分为3种:本地运行模式,伪分布运行模式,集群运行模式,相应概念如下:1、独立模式即本地运行模式(standalone或local mode)无需运行任何守护进程(daemon),所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便,因此转载 2016-09-21 18:47:19 · 8013 阅读 · 0 评论 -
hadoop native libraries
转载:http://www.cnblogs.com/gpcuster/archive/2011/02/17/1957042.htmlHadoop是使用Java语言开发的,但是有一些需求和操作并不适合使用java,所以就引入了本地库(Native Libraries)的概念,通过本地库,Hadoop可以更加高效地执行某一些操作。目前在Hadoop中,本地库应用在文件的压缩上面:转载 2016-09-21 19:35:54 · 402 阅读 · 0 评论 -
Hadoop安装包的目录结构
hadoop安装包的目录结构 初次接触Hadoop,了解了Hadoop安装包的目录结构,和大家分享下:bin:Hadoop最基本的管理脚本和使用脚本的目录,这些脚本是sbin目录下管理脚本的基础实现,用户可以直接使用这些脚本管理和使用Hadoop。etc:Hadoop配置文件所在的目录,包括core-site,xml、hdfs-site.xml、mapred-原创 2016-09-20 22:04:55 · 3306 阅读 · 0 评论 -
hadoop CLI MiniCluster
转载:http://blog.csdn.net/laozhaokun/article/details/25948877使用 CLI MiniCluster, 用户可以简单地只用一个命令就启动或关闭一个单一节点的Hadoop集群,不需要设置任何环境变量或管理配置文件。 CLI MiniCluster 同时启动一个 YARN/MapReduce 和 HDFS 集群。这对那些想要快速体验一个真实转载 2016-09-21 19:30:06 · 974 阅读 · 0 评论 -
HDFS简介
转载 http://www.cnblogs.com/xia520pi/archive/2012/05/28/2520813.html1、HDFS简介 HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上转载 2016-09-21 18:24:44 · 432 阅读 · 0 评论 -
hadoop的安全模式
转载:http://www.cnblogs.com/gpcuster/archive/2011/02/17/1957042.html在hadoop集群的时候,集群的运行会进入到安全模式(safeMode)下。在安全模式下运行一段时间后,自动退出。那么,系统在安全模式下干什么了?当集群启动的时候,会首先进入到安全模式。系统在安全模式下,会检查数据块的完整性。假设我们设置的副本转载 2016-09-21 20:32:26 · 1096 阅读 · 0 评论 -
HDFS快照
转载:http://blog.csdn.net/linlinv3/article/details/44564313HDFS快照是一个只读的基于时间点文件系统拷贝。快照可以是整个文件系统的也可以是一部分。常用来作为数据备份,防止用户错误和容灾。HDFS实现了:Snapshot 创建的时间 复杂度为O(1),但是不包括INode 的寻找时间只有当修改SnapShot时,转载 2016-09-21 20:42:40 · 435 阅读 · 0 评论 -
hadoop自带的 balancer解析
转载:http://www.cnblogs.com/linehrr-freehacker/p/3311878.html其实很多人都知道hadoop自带一个hadoop balancer的功能,作用于让各个datanode之间的数据平衡.比如说node-A有100GB数据,占用磁盘99%空间;而node-B只有10GB数据占用磁盘10%空间~那么当我们转载 2016-09-20 22:54:19 · 4747 阅读 · 0 评论 -
hadoop 权限管理
转载:http://blog.csdn.net/cheersu/article/details/8080162如下图,hadoop访问控制分为两级,其中ServiceLevel Authorization为系统级,用于控制是否可以访问指定的服务,例如用户/组是否可以向集群提交Job,它是最基础的访问控制,优先于文件权限和mapred队列权限验证。Access Control on Job Qu转载 2016-09-21 19:39:54 · 807 阅读 · 0 评论 -
hadoop yarn的运行机制
转载:http://blog.csdn.net/liuwenbo0920/article/details/433042431.1 YARN 基本架构YARN是Hadoop 2.0中的资源管理系统,它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务:一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。转载 2016-09-21 18:34:36 · 384 阅读 · 0 评论 -
hdfs 配额指南
转载:http://blog.csdn.net/shubingzhuoxue/article/details/50072203综述HDFS允许管理员为使用的命名和每个个人的文件夹设置配额。命名配额和空间配额独立操作,但是这两种陪管理和实现是连接紧密的。命名配额命名配额是一个在这个文件夹下文件和文件夹的数目。如果超过限额那么文件和文件夹的创建会失败,重命名后命名配转载 2016-09-21 20:51:49 · 1173 阅读 · 0 评论 -
hadoop 的helloword 的wordcount程序
http://www.tuicool.com/articles/v6VNzaHadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,MapReduce则为海量的数据提供了计算。HDFS是Google File System(GFS)的开源实现。MapReduce是Google MapReduce的开源实现。HDFS和Ma转载 2016-11-01 11:48:03 · 364 阅读 · 0 评论 -
phoenix为 HBase建立二级索引表
转载:http://blog.csdn.net/u011491148/article/details/45749807为什么需要Secondary Index对于HBase而言,如果想精确地定位到某行记录,唯一的办法是通过rowkey来查询。如果不通过rowkey来查找数据,就必须逐行地比较每一列的值,即全表扫瞄。对于较大的表,全表扫瞄的代价是不可接受的。但是,很多情况下,转载 2016-10-20 20:14:40 · 2142 阅读 · 0 评论 -
shell date命令
转:http://www.cnblogs.com/barrychiao/archive/2012/10/08/2715808.html1. 显示时间date命令可以按照指定格式显示日期,只键入date则以默认格式显示当前时间。如下:如果需要以指定的格式显示日期,可以使用“+”开头的字符串指定其格式,详细格式如下:%n : 下一行%t : 跳格%H : 小时(00-23)转载 2016-08-01 08:37:10 · 968 阅读 · 0 评论