ITboy-Bear-CSDN博客

原创 class org.apache.hadoop.hdfs.web.HftpFileSystem cannot access its superinterface

异常信息：Exception in thread "main" java.lang.IllegalAccessError: class org.apache.hadoop.hdfs.web.HftpFileSystem cannot access its superinterface org.apache.hadoop.hdfs.web.TokenAspect$TokenManagementDelegator完整错误信息如下：解决：在IDEA导出jar包之前，将依赖包中所有hadoop.

2020-10-22 15:11:40 3263

原创创建的jar包无法运行，出现java.lang.SecurityException: Invalid signature file digest for Manifest main attribute

错误：java.lang.SecurityException: Invalid signature file digest for Manifest main attributes原因：在使用maven打包市，有些包有签名，导致错误或无法访问解决：打开jar包进入META-INF目录，将*.SF，*.DSA，*.RSA，*.MF文件删除注意：*.MF文件也会造成java.lang.ClassNotFoundException: com.SparkJavaVersion 类找不到的问...

2020-10-22 15:05:58 941

原创 spark操作kudu,出现异常java.lang.ClassNotFoundException: org.apache.kudu.spark.kudu.DefaultSource

环境：CDH6.3.2Kudu 1.10.0-cdh6.3.2Spark2.4.0-cdh6.3.2错误：java.lang.ClassNotFoundException: Failed to find data source: org.apache.kudu.spark.kudu.java.lang.ClassNotFoundException: org.apache.kudu.spark.kudu.DefaultSource解决：将/opt/clouder..

2020-10-22 14:47:27 1452

原创使用SparkSQL迁移oracle数据到impala创建的kudu表中,出现Primary key column riskcode is not set错误

前段时间公司业务需求，需要把oracle中的数据迁移到数据仓库中(kudu整合的hive)，为了使用kudu方便，kudu的日常操作通过impala来完成。由于第一次整合sparkSQL与kudu,所以打算通过一些demo记录一下遇到的问题。oracle数据导入到kudu中，代码如下：object OracleToKudu { def main(args: Array[String]): Unit = { val spark = SparkSession.builder....

2020-10-22 14:01:45 1349

原创 Hbase运行不稳定，通过修改系统配置(THP)解决Hbase运行过程中时常出现宕机的问题

问题前段时间由于项目需要将spark计算后的大量数据插入到HBbase数据库中，但在项目进行过程中发现整个Hadoop集群很不稳定，集群状态中CPU使用率很高，运行一段时间后HBase运行不稳定或者Hbase集群挂掉。说明数据库的性能表现与很多因素相关，比如数据库本身的参数配置、客户端API的使用、表和字段的设计，及操作系统、JVM等。THP是为了提升性...

2019-04-26 16:28:59 747

原创 Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

1. 问题导读： Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executablenull\bin\winutils.exe in the Hadoop binaries.2. 问题解决：仔细查

2017-01-09 20:03:28 28420

原创 HBase架构核心模块

HBase架构核心组件的知识总结及自我理解

2016-06-02 14:56:39 8102

原创 HBase LSM树

HBase文件系统LSM数据结构的主题思想与特点

2016-06-01 18:02:02 4588

原创 hdfs下载出现Exception in thread "main" java.lang.NullPointerException

hdfs使用copyToLocalFile下载文件时出现Exception in thread "main" java.lang.NullPointerException。

2016-05-23 11:07:49 3726

原创 hive数据导出

hive对数据的导出

2016-05-13 01:23:01 649

原创利用sqoop完成数据导入导出

使用SQOOP分别实现关系型数据库入mysql与hive、hbase之间的数据交流。

2016-05-13 00:57:21 13311

原创 hive数据加载

hive数据导入的几种格式。包括load data、查询语句导入、动态语句导入、CTAS格式数据导入。

2016-05-09 14:07:23 2957

原创 hive存储格式

hive文件的存储格式：textfile、sequencefile、rcfile、自定义格式

2016-05-07 20:50:10 2327 1

原创 hive权限控制

查询hive中的数据时爆出了： Authorization failed:No privilege 'Select' found for inputs { database:hive,table:emp,columnName:id}.Use SHOW GRANT to get more details.错误。是自己开启hive权限控制后，现在使用的用户权限不足。因此只需要将select权限赋予用户即可。Hive的权限控制并不是完全安全的。hive的权限控制是为了防止用户不小心做了不合适的操作

2016-04-27 00:37:17 4862

原创 Unable to load native-hadoop library for your platform...

hadoop本地库无法使用。WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

2016-04-26 17:00:10 822

原创 hive启动出现权限错误 /tmp/hive on HDFS should be writable.

启动hive时出现Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable.Current permissions are: rwxr-xr-x

2016-04-23 15:45:01 16395

原创自定义实现Mapreduce计算的key类型

1. 在进行mapreduce编程时key键往往用于分组或排序，当我们在进行这些操作时Hadoop内置的key键数据类型不能满足需求时，或针对用例优化自定义数据类型可能执行的更好。因此可以通过实现org.apache.hadoop.io.WritableComparable接口定义一个自定义的WritableComparable类型，并使其作为mapreduce计算的key类型。

2016-04-09 11:55:46 5484 2

原创 ORA-01157:无法标识/锁定数据文件，ORA-01110：表空间丢失错误

前两天再一次操作ORACLE数据库时，误删了其中的一个数据库表空间，且之前没有将此数据库表空间备份。导致今天在启动数据库时无法启动，经过自己查找资料后便将其恢复。具体的命令操作如下：至此数据库便可以正常启动使用了。

2016-04-03 20:27:44 34858 5

原创自定义实现mapreduce计算的value类型

通过实现org.apache.hadoop.io.Writable接口定义一个自定义的Writable类型，来实现mapreduce计算的自定义value类型，

2016-04-02 11:42:20 2505

原创设计模式-饿汉式、懒汉式

单例设计模式：确保一个类中有且仅有一个实例并为他提供一个全局访问点。具体实现： 1.将构造函数私有化。 2.在类中创建一个本类对象。 3.提供一个方法可以获取到该对象。2.1饿汉式：Single类一进内存，就已经创建好了对象。class Single{ private Single(){} private static Single s = new Single();

2016-03-31 10:23:24 390

原创 WordCount单词计数详解

Mapreduce编程WordCount单词计数的详解

2016-03-28 10:06:46 2087

原创 Hadoop启动时出现Warning: $HADOOP_HOME is deprecated.警告

$HADOOP_HOME is deprecated警告在Hadoop启动时产生。

2016-03-25 09:21:42 2101

原创 CentOS系统安装完毕后，网络连接方式为NAT，系统无法上网或IP设置成静态后无法上

1. 问题：系统安装完毕后，网络连接方式为NAT，系统无法上网或IP设置成静态后无法上网。2. 环境介绍虚拟机：VMware10 系统为：CentOS-6.4-x86_64-bin-DVD1.iso 网络连接设置为：NAT3. 前提是windows下的虚拟机网卡可够识别.如下图若不能识别请参考：http://blog.sina.com.cn/s/bl

2016-03-05 21:42:48 3175

原创 hadoop下运行mapreduce程序Failed to set permissions of path:的解决

1.运行环境介绍 win7旗舰版，虚拟机vmware workstation 11下Centos6.2-32位，hadoop-1.1.2。在运行mapreduce程序时会发生：Failed to set permissions of path:\tmp\hadoop-zhen\---错误。2.错误格式截图如下： 3.出现原因：Windows下权限检查无法通过，才会

2016-01-19 18:37:27 546

原创 MapReduce发生Permission denied: user=zhen, access=WRITE错误

一.错误介绍. 在进行mapreduce编程时，利用MapReduce程序处理上传至hdfs文件系统下的数据文档时，由于传入的数据文档的权限为644，无法满足supergroup的755权限要求，所以会出现错误。如下二.修改方法。修改配置文件中的设置，找到hdfs-site.xml配置问文件。在文件中添加如下配置关闭hdfs文件系统权限检

2016-01-19 18:34:49 555

原创 hadoop2.2.0伪分布下安装hive

1.环境及软件介绍：CentOS-6.4-x86_64-bin-DVD1.iso hadoop-2.2.0 hive-0.12.0 mysql(为CentOS6.4自带版本为MySQL5.1.66).2.MySQL的安装和卸载使用rpm –qa|grep mysql查看已安装的数据库软件卸载MySQL yum remove mysqlmysql-serve

2016-01-19 18:06:03 941

原创 linux下配置本地yum源仓库

在Linux系统下安装应用软件，不像window下那样方便，有时需要事先安装很多RPM包，而有些RPM包与RPM包之前存在依赖关系，这样安装就会很麻烦。要是配置一个本地yum源仓库，就可以直接使用yum命令，将有依赖的RPM包一次安装。本文以RedHat为例，其他Linux系统类似。1.使用df命令，查看系统光盘挂载位置。2.卸载分区 /dev/sr03

2016-01-19 18:00:29 8530

原创 Hadoop中datanode无法启动

1. 环境描述：虚拟机10，CentOS6.4，伪分布式安装Hadoop。 2. 问题描述：出现datanode无法启动。 3.错误一：指定的文件目录权限不符查看datanode启动日志cat/home/hadoop/hadoop-0.20.203.0/logs/hadoop-hadoop-datanode-hadoop.log查看日志发现这是

2016-01-19 17:39:24 771 1

原创运算符与运算符表达式

常见的C语言运算符共有八类，分别是。算术运算符、关系运算符、逻辑运算符、赋值运算符、条件运算符、逗号运算符、sizeof运算符、强制类型转换。 1.算术运算符与算术运算表达式算符运算符包含：+、-、*、/、%（取余或取模）。运算顺许续先 *、/、% 在 +、-。+ -运算符应注意递增递减运算i=3; j的值 j=i++; 3

2014-05-03 12:48:09 599