- 博客(33)
- 资源 (57)
- 收藏
- 关注
RSS订阅原创 Hive用户接口（一）—Hive Web接口HWI的操作及使用
Hive提供了三种用户接口：CLI、HWI和客户端方式。其中最常用的的就是CLI，CLI启动的时候，会同时启动一个Hive副本。Client是Hive的客户端，用户连接至Hive Server。在启动 Client模式的时候，需要指出Hive Server所在节点，并且在该节点启动Hive Server。 HWI是通过浏览器访问Hive。本文介绍Hive Web访问接口。启动 hwi
2016-11-26 18:54:22
3009
转载 hive 日志存放路径
日志记录了程序运行的过程，是一种查找问题的利器。Hive中的日志分为两种1. 系统日志，记录了hive的运行情况，错误状况。2. Job 日志，记录了Hive 中job的执行的历史过程。系统日志存储在什么地方呢 ？在hive/conf/ hive-log4j.properties 文件中记录了Hive日志的存储情况，默认的存储情况：hive.root.log
2016-11-26 17:16:20
6050
转载 eclipse上运行hive查询
环境：hadoop：2.5.2，hive：1.2.11、pom文件： org.apache.hadoop hadoop-common 2.5.2 provided org.apache.hive hive-jdbc 1.2.1 2、java代码package cn.edu.nuc.
2016-11-26 17:09:30
1286
转载 hive 配置参数说明
hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小，在本地运行（在GateWay运行） true hive.exec.mode.local.auto.inputbytes.max 如果 hive.exec.mode.local.auto 为 true，当输入文件大小小于此阈值时可以自动在本地模式运行，默
2016-11-26 15:54:58
758
转载 ClassNotFoundException 和 NoClassDefFoundError 区别
要区分这两个异常，先要了解类装载的显式和隐式两种方式类装入的方式有两种 —— 显式 或 隐式，两者之间有些细微差异。显式 类装入发生在使用以下方法调用装入的类的时候：•cl.loadClass()（cl 是 Java.lang.ClassLoader 的实例）•Class.forName()（启动的类装入器是当前类定义的类装入器）当调用其中一个方法的时候，指定的类（
2016-11-25 10:15:37
583
转载 特征向量的归一化方法
在使用KNN（k-Nearest Neighbours）根据特征值进行分类的时候，如果所有变量位于同一值域范围内，利用这些变量一次性算出距离值是有意义的。不过，假设我们引入一个对最终的分类结果产生影响的新变量（不同类型的变量 Heterogenous Varibales）。与我们目前使用过的变量不同（假设之前的变量的取值均介于0和100之间），这些变量可能会达到1000。很显然，和原先的变量相比，
2016-11-24 12:11:52
12266
转载 xargs命令
xargs命令是给其他命令传递参数的一个过滤器，也是组合多个命令的一个工具。它擅长将标准输入数据转换成命令行参数，xargs能够处理管道或者stdin并将其转换成特定命令的命令参数。xargs也可以将单行或多行文本输入转换为其他格式，例如多行变单行，单行变多行。xargs的默认命令是echo，空格是默认定界符。这意味着通过管道传递给xargs的输入将会包含换行和空白，不过通过xargs的处理，换行
2016-11-23 15:34:22
465
原创 tar 解压，重命名
1、tar: Removing leading `/’ from member names 问题：首先应该明确：*nix系统中，使用tar对文件打包时，一般不建议使用绝对路径。通常是在两台环境相似的机器上进行同步复制的时候，才有需要使用绝对路径进行打包。使用绝对路径打包时如果不指定相应的参数，tar会产生一句警告信息："tar: Removing leading `/’ from memb
2016-11-23 12:42:28
64181
转载 spring 组件过滤扫描
在使用scan功能时，默认情况下所有的构造型注解标注(@Component,@Service,@Repository,@Controller)的实现类都会被注册为bean但是在具有限定功能的情况下，可以减小Spring扫描的粒度，提升效率。下面的规则都可以分为正向的和反向的，即该类型的需要扫描以及该类型的不需要扫描。正向的写在种情况” expression=
2016-11-21 21:14:27
2638
原创 java.lang.NoSuchFieldError: INSTANCE in HttpClient when running hadoop
今天运行mr代码，在本地调试都没有问题，放到线上发现一直报错：java.lang.NoSuchFieldError: INSTANCE in HttpClient when running hadoop经过排查，发现是由于map中用到了HttpClient（4.5）的依赖，而hadoop中自带了另一个版本的httpClient.jar，导致jar冲突。解决方法可以使用map-job-use
2016-11-21 18:54:46
2406
转载 hive 三种启动方式及用途
1， hive 命令行模式，直接输入/hive/bin/hive的执行程序，或者输入 hive –service cli 用于linux平台命令行查询，查询语句基本跟mysql查询语句类似 2， hive web界面的启动方式，hive –service hwi 用于通过浏览器来访问hive，感觉没多大用途3， hive 远程服务 (
2016-11-20 22:18:07
5206
原创 How-to: resolve hbase "org.apache.hadoop.hbase.TableExistsException: hbase:namespace"
启动hbase时，在日志里发现如下错误：Error:2015-06-24 13:34:05,251 FATAL [master:60000.activeMasterManager] master.HMaster: Failed to become active masterorg.apache.hadoop.hbase.TableExistsException: hbase:namespa
2016-11-20 21:26:54
1377
转载 HBase概念学习（九）HTablePool为何弃用？
我们先看HConnection的getTable方法描述：Retrieve an HTableInterface implementation for access to a table. The returned HTableInterface is not thread safe, a new instance should be created for each using threa
2016-11-19 13:06:59
826
原创 eclipse 创建maven项目设置默认jdk版本
使用maven的时候，默认会使用1.5版本的JDK，并且也是编译成1.5的，我的电脑里面用的JDK是1.7的，1.8也出来了，没理由还用1.5的吧！所以我手动改成了1.7，郁闷的是，每次 maven-update project 的时候，又变成1.5的了.解决方法：在maven的setting.xml文件中 的 profiles 节点 加入： jdk17
2016-11-19 12:37:29
1074
转载 hive列转行 （collect_all()/collect_list() 不去重）
collect_all() hive 0.12collect_list() hive 0.13一、问题hive如何将a b1a b2a b2c d1c d1d d2变为：a ["b1","b2","b2"]c
2016-11-17 20:26:51
10008
原创 hive-1.2.1安装
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 Hive是由Facebook贡献给Apache的开源项目，这
2016-11-16 18:38:22
686
原创 hive本地模式和远程模式
1.内嵌模式，特点是：hive服务和metastore服务运行在同一个进程中，derby服务也运行在该进程中。该模式无需特殊配置，参见老虎ppt即可。2.本地模式，特点是：hive服务和metastore服务运行在同一个进程中，mysql是单独的进程，可以在同一台机器上，也可以在远程机器上。该模式只需将hive-site.xml中的ConnectionURL指向mysql，并配
2016-11-16 18:27:52
3227
原创 Error creating assembly archive pack: You must set at least one file.
今天用maven的assembly插件打包，发现了一个bug，打包后会报下面的错： Error creating assembly archive pack: You must set at least one file.找来找去发现是因为项目中依赖的第三方jar没有在代码中用到，所以assembly打dependencies 包的时候会报错，把依赖加进去后，就可以了。
2016-11-15 15:43:50
18350
1
原创 Exception in thread "main" java.lang.IllegalArgumentException: Not a host:port pair: PBUF
使用java客户端连接hbase时，如果发现报了如下错：Exception in thread "main" java.lang.IllegalArgumentException: Not a host:port pair: PBUF原因是由于客户端hbase版本和服务器不一致造成，修改maven版本后，解决。
2016-11-13 18:07:05
2827
原创 ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
今天突然启动hbase后，在命令行上执行list命令报错：ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing尝试使用如下方式解决：停止hbase、hadoop、zk集群；删除datanode节点中的临时文件，删除zk下dataDir中的version-2文件；重新格式化namenode
2016-11-13 01:53:46
37487
11
原创 “tar: Removing leading `/’ from member names”的错误
其原因是tar默认为相对路径，使用绝对路径的话就回报这个错，可以使用-P参数（注意大写）解决这个问题tar -zcPf /backup/$WebBakName $WEB_DATA其中f放最后。
2016-11-09 19:45:03
66213
1
转载 通过shell脚本进行数据库操作
于是就想到了用shell+mysql+crontab进行实现。下面附上通过shell命令行非交互式的操作数据库的方法：mysql -hhostname -Pport -uusername -ppassword -e 相关mysql的sql语句，不用在mysql的提示符下运行mysql，即可以在shell中操作mysql的方法。#!/bin/bashHOSTNAME=
2016-11-08 18:45:50
535
转载 利用shell脚本执行ssh远程另一台主机执行命令并返回命令的结果集
假设从主机A，检查主机B上的进程，需要在主机B上建立检查用户，例如叫x，并设置通过public key认证登录SSH，不会可以google搜一下，然后，在A机器上执行：ssh x@B ~/command.sh > result.txtcommand.sh就是B机器上放置在x目录下的脚本。输出结果应该是写到了result.txt或者另一种写法result=`ssh x@B ~/
2016-11-08 18:44:53
23806
原创 脚本报错：syntax error near unexpected token
今天将之前写好的shell脚本拿出来用，发现执行时就报错：syntax error near unexpected token很奇怪，之前执行的一直没事...后来在网上找了下，发现脚本内容每行尾行都添加了^M的字符，查看方式：vi -b 打开脚本文件后来想了下，造成这个的原因应该是脚本有试过拿到win机器上存放，期间也用win下的编辑器编辑过
2016-11-08 09:41:20
999
原创 nginx之gzip
搜索Nginx的模块，发现和Gzip相关的模块有如下几个：Gzip: Gzip responses.Gzip Precompression: Serves precompressed versions of static files.Gunzip: On-the-fly decompressing of gzipped responses.这些都是和Response相关的Gzip，
2016-11-06 18:05:40
436
转载 NameNode格式化失败问题的解决
NameNode格式化失败，查看日志，报如下错：15/04/08 10:05:43 INFO namenode.NameNode: registered UNIX signal handlers for [TERM, HUP, INT]15/04/08 10:05:43 INFO namenode.NameNode: createNameNode [-format]15/04/08 10:05
2016-11-05 18:19:33
3620
转载 linux shell bc命令 处理浮点数
一般的整数运算可以用 expr这个命令解决，expr命令一般用于整数值，但也可用于字符串。一般格式为：expr argument operator argumentexpr也是一个手工命令行计数器。$expr 10 + 1020$expr 1500 + 9002500$expr 30 / 310$expr 30 / 3 / 25(注意运算符左右都有空格
2016-11-05 11:58:43
888
转载 shell 中对小数进行比较的方法总结
写个调度器需要对小数之间进行大小比较，经查询shell中 可以用 bc 对小数进行运算example:#echo 5.5+1.1 | bc6.6具体情况#man bc然而对小数进行比较的相关方法有几个：1. 自己的解决方法，判断小数点后最多有几位数(N)，然后对将要比较的两个数值进行 乘与10的N次方也就是将小数点去掉来进行比较（小数点后位数多的直接去掉小数点，少的用0
2016-11-05 11:55:22
10218
1
转载 shell中if做比较
shell判断数组中是否包含某个元素：ary=(1 2 3)a=2if [[ "${ary[@]}" =~ "$a" ]] ; then echo "a in ary"else echo "a not in ary"fi判读字符串($str)是否包含另一个字符串($str1)：方法1：if [ `echo $str |
2016-11-05 11:31:39
2361
转载 解决-Dmaven.multiModuleProjectDirectory system property is not set. Check $M2_HOME environment variabl
1.添加M2_HOME的环境变量2.Preference->Java->Installed JREs->Edit 选择一个jdk, 添加 -Dmaven.multiModuleProjectDirectory=$M2_HOME
2016-11-04 20:40:08
501
转载 负载均衡之IP
首先让我们来看看下面这张大家都非常熟悉的TCP/IP协议族的分层图：关于每层在网络数据包传输过程中所起到的作用不是本文的重点，本文主要是讲解如何在网络层中使用IP来做服务器集群的负载均衡，为什么可以在这一层来做负载均衡。下面在来看IP协议的报头格式：内红色框内的源地址和目的地址是IP负载均衡功能的关键所在，IP负载均衡又可以称之为网络层负载均衡，其核心原理就是通过内核驱
2016-11-02 19:36:30
1521
转载 负载均衡之数据链路层
在TCP/IP协议中数据链路层处于最底层，以帧的形式传输和接受数据。在这一层中MAC(Media Access Control)寻址是主要功能。在网络中MAC又称之为MAC地址，用于表示互联网上每个网卡的标识符，采用十六进制表示，共6个字节（48位），烧录在网卡内部。更形象的说MAC地址就像身份证号码，全球唯一。以太网中数据帧之间是通过MAC寻址来到达对应的计算机网卡或者路由的，因此，服务器集群可
2016-11-02 19:34:20
540
原创 log4j:WARN No appenders could be found for logger 问题解决
在springmvc的web项目中常常会在tomcat启动的时候出现这种提示： log4j:WARN No appenders could be found for logger (org.springframework.web.context.ContextLoader). log4j:WARN Please initialize the log4j system properly.网
2016-11-01 14:38:10
32908
macOS eclipse Launcher
2023-12-18
parquet-tools-1.6.0rc3.zip
2020-07-24
jQuery-Plugin-For-Easily-Readable-JSON-Data-Viewer.zip
2019-12-31
yesmeck-jquery-jsonview-v1.2.3-14-g01b1eb8.zip
2019-12-30
linux解析json工具——jq
2017-09-16
jquery 全屏显示插件
2015-03-20
apache-maven-3.2.3-bin
2014-10-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人