- 博客(30)
- 收藏
- 关注
RSS订阅原创 hive2.x异常（一）
问题描述 在安装好hive2.x之后，可以进入hive命令行，但相关操作会报异常，如我们通常测试hive是否安装好，用show databases;来测试，但在hive2.x会报如下异常：hive> show databases;OKFailed with exception java.io.IOException:java.lang.IllegalArgumentExceptio...
2018-04-21 18:11:46
1020
原创 hadoop异常（ssh公钥认证）
[hadoop@bruce02 hadoop]$ start-dfs.shStarting namenodes on [bruce02.mydomain]bruce02.mydomain: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).Starting datanodeslocalhost: Perm...
2018-04-21 14:23:12
1502
原创 xml文件格式化脚本
xml文件格式化脚本先创建临时目录mkdir ~/tmp#!/bin/bash#校验参数个数if [ $# != 1 ]then echo "please input at least one parameter,for example:./format-xml.sh filename" exitfiDIR=`pwd`DATE_TIME=`date "+%Y%m%d%H%M%S"`c...
2018-04-21 11:30:44
1996
转载 Hadoop-2.4.1学习之如何确定Mapper数量
MapReduce框架的优势是可以在集群中并行运行mapper和reducer任务，那如何确定mapper和reducer的数量呢，或者说如何以编程的方式控制作业启动的mapper和reducer数量呢？在《Hadoop-2.4.1学习之Mapper和Reducer》中曾经提及建议reducer的数量为(0.95~1.75 ) * 节点数量 * 每个节点上最大的容器数，并可使用方法Job.setNu
2017-06-20 23:32:42
401
原创 Scala的LRU算法实现
/** * Created by Bruce on 2017/6/15. *//** * Input：array = [1,2,3,5,8,4,5,2,9], size = 4 * Output: result = 8 * LRU分析参考： * ⑴get(key)：如果key在cache中，则返回对应的value值，否则返回-1 * ⑵set(key,value):如果key不在
2017-06-16 13:25:10
1207
原创 Spark的异常（一）
在同一台机器上同时启动本地模式和集群模式出现如下错误：ERROR Datastore.Schema: Failed initialising database.Failed to start database 'metastore_db' with class loader org.apache.spark.sql.hive.client.IsolatedClientLoader$$anon
2017-06-16 10:10:16
1540
1
原创 Hive的异常（一）
Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient at org.apache.hadoop.hive.ql.session.Sess
2017-06-14 13:19:44
2652
转载 HBase异常类型
【HBase】org.apache.hadoop.hbase包及其类的说明 <div class="article_manage clearfix"> <div class="article_r"> <span class="link_postdate">2013-10-17 19:52</span>
2017-06-13 21:08:12
2862
原创 HBase的异常（二）
ERROR: org.apache.hadoop.hbase.TableNotDisabledException: event_logs at org.apache.hadoop.hbase.master.HMaster.checkTableModifiable(HMaster.java:2098) at org.apache.hadoop.hbase.master.handler.Table
2017-06-13 20:10:03
3472
原创 HBase的异常（一）
hbase(main):001:0> listTABLE 2017-06-13 18:30:31,489 ERROR [main] zookeeper.RecoverableZooKeeper: ZooKeep
2017-06-13 18:38:37
4823
原创 Hive优化（整理）
一、硬件优化1、配置二、网络优化1、交换机⑴普通交换机：网线连接服务器，便宜，常用，数据交换能力一般；⑵光纤交换机：光纤连接服务器，比较贵，数据交换能力强；三、MR优化1、map优化2、reduce优化3、spill与sort优化4、copy优化5、文件格式四、Job优化1、Job执行模式2、JVM重用3、索引4、join算法
2017-06-13 17:12:00
2771
原创 Scala高阶函数与隐式转换
Scala 官网：http://www.scala-lang.org/一、高阶函数1、函数化简package com.example.scala/** * Created by Bruce on 2017/6/12. *//** * ⑴接收其他函数作为参数的函数，被称作高阶函数（higher-order function）； * ⑵Scala中，由于函数是一等公民
2017-06-12 16:36:08
3029
原创 Scala类与模式匹配
Scala 官网：http://www.scala-lang.org/一、类1、main/* * main method * ⑴如同Java中，如果要运行一个程序，必须编写一个包含main方法的类一样； * 在Scala中，如果要运行一个应用程序，必须要有一个main方法，作为入口； * ⑵在Scala中的main方法定义为def main(args:Array[Str
2017-06-12 16:11:52
3026
原创 Scala之变量与函数
Scala 官网：http://www.scala-lang.org/一、数据类型二、变量1、变量定义的语法关键字（val / var） 变量名 : 数据类型（首字母大写） = 值2、使用val定义一个不可变变量//声明一个不可变整型变量a并赋值为3，再次给a赋值时则报error：reassignment to valval a:Int=3
2017-06-09 12:51:54
3689
原创 Hive中管理表（内部表）和外部表的区别是什么，及分区表使用场景
Hive中管理表（内部表）和外部表的区别是什么，及分区表使用场景？⑴区别：①Hive创建内部表时（默认创建内部表），会将数据移动到数据仓库指向的路径；创建外部表（需要加关键字external），仅记录数据所在的路径，不对数据的位置做任何改变；⑵Hive删除表时，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据；⑵场景：①外部表：比如某个公司的原
2017-06-08 13:27:35
7192
原创 Hive是什么，Hive与关系型数据库的区别
Hive是什么，Hive与关系型数据库的区别？⑴Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类sql语句的查询功能；Hive使用Hql作为查询接口，使用HDFS存储，使用mapreduce计算；Hive的本质是将Hql转化为mapreduce；⑵区别：①数据库可以用在Online的应用中，Hive主要进行离线的大数据分析；②数据库
2017-06-08 13:12:32
20524
原创 MapReduce自带wordcount的实现
package com.bruce.mapreduce;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.
2017-06-07 22:36:27
2695
原创 MapReduce八股文模板
package com.bruce.mapreduce;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.Path;import org.apache.ha
2017-06-07 22:34:51
3067
转载 HBase基本操作
http://blog.csdn.net/u013980127/article/details/52443155下面代码在Hadoop 2.6.4 + Hbase 1.2.2 + centos 6.5 + jdk 1.8上运行通过。HBase操作一般操作 命令 说明 status 显示集群状态. 选项：‘summary’, ‘simple’, or ‘detailed’. 默认值：‘s
2017-05-26 16:26:39
3245
转载 shell中test命令用法详解
test命令用法。功能：检查文件和比较值 1）判断表达式 if test (表达式为真) if test !表达式为假 test 表达式1 –a 表达式2 两个表达式都为真 test 表达式1 –o 表达式2 两个表达式有一个为真 2）判断字符串 test –n 字符串
2017-05-21 11:26:46
2936
原创 Linux系统常用基本命令（三）
一、linux 软件包管理（安装，卸载，升级，查询）；二、rpm命令；三、yum命令 .rpm 安装 查询 更新 卸载；四、常用系统管理命令；
2017-05-16 08:38:37
2652
原创 Linux系统常用基本操作（二）
一、用户和用户组命令；二、用户文件和目录权限命令；三、管道符|、追加/覆盖符号；四、搜索命令：find ；五、sudo 权限；六、压缩和解压缩；
2017-05-15 13:18:59
2583
原创 Linux系统常用基本操作（一）
由于企业环境中使用的服务器操作系统基本都是Linux系统，大数据集群也是搭建在Linxu系统之上，所以，无论做系统运维，还是大数据开发，Linux系统常用基本操作都尤为重要，只因为是基础，基本操作；即便做前端，只要是和代码打交道，Linux系统基本操作都是必备技能。
2017-05-13 14:09:46
3473
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人