- 博客(29)
- 资源 (9)
- 收藏
- 关注
原创 class org.apache.hadoop.hdfs.web.HftpFileSystem cannot access its superinterface
异常信息:Exception in thread "main" java.lang.IllegalAccessError: class org.apache.hadoop.hdfs.web.HftpFileSystem cannot access its superinterface org.apache.hadoop.hdfs.web.TokenAspect$TokenManagementDelegator完整错误信息如下:解决:在IDEA导出jar包之前,将依赖包中所有hadoop.
2020-10-22 15:11:40 3310
原创 创建的jar包无法运行,出现java.lang.SecurityException: Invalid signature file digest for Manifest main attribute
错误:java.lang.SecurityException: Invalid signature file digest for Manifest main attributes原因:在使用maven打包市,有些包有签名,导致错误或无法访问解决:打开jar包进入META-INF目录,将*.SF,*.DSA,*.RSA,*.MF文件删除注意:*.MF文件也会造成java.lang.ClassNotFoundException: com.SparkJavaVersion 类找不到的问...
2020-10-22 15:05:58 1010
原创 spark操作kudu,出现异常java.lang.ClassNotFoundException: org.apache.kudu.spark.kudu.DefaultSource
环境:CDH6.3.2Kudu 1.10.0-cdh6.3.2Spark2.4.0-cdh6.3.2错误:java.lang.ClassNotFoundException: Failed to find data source: org.apache.kudu.spark.kudu.java.lang.ClassNotFoundException: org.apache.kudu.spark.kudu.DefaultSource解决:将/opt/clouder..
2020-10-22 14:47:27 1514
原创 使用SparkSQL迁移oracle数据到impala创建的kudu表中,出现Primary key column riskcode is not set错误
前段时间公司业务需求,需要把oracle中的数据迁移到数据仓库中(kudu整合的hive),为了使用kudu方便,kudu的日常操作通过impala来完成。由于第一次整合sparkSQL与kudu,所以打算通过一些demo记录一下遇到的问题。oracle数据导入到kudu中,代码如下:object OracleToKudu { def main(args: Array[String]): Unit = { val spark = SparkSession.builder....
2020-10-22 14:01:45 1396
原创 Hbase运行不稳定,通过修改系统配置(THP)解决Hbase运行过程中时常出现宕机的问题
问题前段时间由于项目需要将spark计算后的大量数据插入到HBbase数据库中,但在项目进行过程中发现整个Hadoop集群很不稳定,集群状态中CPU使用率很高,运行一段时间后HBase运行不稳定或者Hbase集群挂掉。说明数据库的性能表现与很多因素相关,比如数据库本身的参数配置、客户端API的使用、表和字段的设计,及操作系统、JVM等。THP是为了提升性...
2019-04-26 16:28:59 807
原创 Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
1. 问题导读: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executablenull\bin\winutils.exe in the Hadoop binaries.2. 问题解决: 仔细查
2017-01-09 20:03:28 28497
原创 hdfs下载出现Exception in thread "main" java.lang.NullPointerException
hdfs使用copyToLocalFile下载文件时出现Exception in thread "main" java.lang.NullPointerException。
2016-05-23 11:07:49 3755
原创 hive权限控制
查询hive中的数据时爆出了: Authorization failed:No privilege 'Select' found for inputs { database:hive,table:emp,columnName:id}.Use SHOW GRANT to get more details.错误。是自己开启hive权限控制后,现在使用的用户权限不足。因此只需要将select权限赋予用户即可。Hive的权限控制并不是完全安全的。hive的权限控制是为了防止用户不小心做了不合适的操作
2016-04-27 00:37:17 4932
原创 Unable to load native-hadoop library for your platform...
hadoop本地库无法使用。WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2016-04-26 17:00:10 833
原创 hive启动出现权限错误 /tmp/hive on HDFS should be writable.
启动hive时出现Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable.Current permissions are: rwxr-xr-x
2016-04-23 15:45:01 16469
原创 自定义实现Mapreduce计算的key类型
1. 在进行mapreduce编程时key键往往用于分组或排序,当我们在进行这些操作时Hadoop内置的key键数据类型不能满足需求时,或针对用例优化自定义数据类型可能执行的更好。因此可以通过实现org.apache.hadoop.io.WritableComparable接口定义一个自定义的WritableComparable类型,并使其作为mapreduce计算的key类型。
2016-04-09 11:55:46 5532 2
原创 ORA-01157:无法标识/锁定数据文件,ORA-01110:表空间丢失错误
前两天再一次操作ORACLE数据库时,误删了其中的一个数据库表空间,且之前没有将此数据库表空间备份。导致今天在启动数据库时无法启动,经过自己查找资料后便将其恢复。 具体的命令操作如下: 至此数据库便可以正常启动使用了。
2016-04-03 20:27:44 34929 5
原创 自定义实现mapreduce计算的value类型
通过实现org.apache.hadoop.io.Writable接口定义一个自定义的Writable类型,来实现mapreduce计算的自定义value类型,
2016-04-02 11:42:20 2525
原创 设计模式-饿汉式、懒汉式
单例设计模式:确保一个类中有且仅有一个实例并为他提供一个全局访问点。 具体实现: 1.将构造函数私有化。 2.在类中创建一个本类对象。 3.提供一个方法可以获取到该对象。2.1饿汉式:Single类一进内存,就已经创建好了对象。class Single{ private Single(){} private static Single s = new Single();
2016-03-31 10:23:24 402
原创 Hadoop启动时出现Warning: $HADOOP_HOME is deprecated.警告
$HADOOP_HOME is deprecated警告在Hadoop启动时产生。
2016-03-25 09:21:42 2124
原创 CentOS系统安装完毕后,网络连接方式为NAT,系统无法上网或IP设置成静态后无法上
1. 问题:系统安装完毕后,网络连接方式为NAT,系统无法上网或IP设置成静态后无法上网。2. 环境介绍 虚拟机:VMware10 系统为:CentOS-6.4-x86_64-bin-DVD1.iso 网络连接设置为:NAT3. 前提是windows下的虚拟机网卡可够识别.如下图若不能识别请参考:http://blog.sina.com.cn/s/bl
2016-03-05 21:42:48 3188
原创 hadoop下运行mapreduce程序Failed to set permissions of path:的解决
1.运行环境介绍 win7旗舰版,虚拟机vmware workstation 11下Centos6.2-32位,hadoop-1.1.2。 在运行mapreduce程序时会发生:Failed to set permissions of path:\tmp\hadoop-zhen\---错误。2.错误格式截图如下: 3.出现原因:Windows下权限检查无法通过,才会
2016-01-19 18:37:27 557
原创 MapReduce发生Permission denied: user=zhen, access=WRITE错误
一.错误介绍. 在进行mapreduce编程时,利用MapReduce程序处理上传至hdfs文件系统下的数据文档时,由于传入的数据文档的权限为644,无 法满足supergroup的755权限要求,所以会出现错误。如下二.修改方法。 修改配置文件中的设置,找到hdfs-site.xml配置问文件。 在文件中添加如下配置关闭hdfs文件系统权限检
2016-01-19 18:34:49 564
原创 hadoop2.2.0伪分布下安装hive
1.环境及软件介绍:CentOS-6.4-x86_64-bin-DVD1.iso hadoop-2.2.0 hive-0.12.0 mysql(为CentOS6.4自带版本为MySQL5.1.66).2.MySQL的安装和卸载使用rpm –qa|grep mysql查看已安装的数据库软件卸载MySQL yum remove mysqlmysql-serve
2016-01-19 18:06:03 950
原创 linux下配置本地yum源仓库
在Linux系统下安装应用软件,不像window下那样方便,有时需要事先安装很多RPM包,而有些RPM包与RPM包之前存在依赖关系,这样安装就会很麻烦。要是配置一个本地yum源仓库,就可以直接使用yum命令,将有依赖的RPM包一次安装。本文以RedHat为例,其他Linux系统类似。1.使用df命令,查看系统光盘挂载位置。2.卸载分区 /dev/sr03
2016-01-19 18:00:29 8572
原创 Hadoop中datanode无法启动
1. 环境描述:虚拟机10,CentOS6.4,伪分布式安装Hadoop。 2. 问题描述:出现datanode无法启动。 3.错误一:指定的文件目录权限不符查看datanode启动日志cat/home/hadoop/hadoop-0.20.203.0/logs/hadoop-hadoop-datanode-hadoop.log查看日志发现 这是
2016-01-19 17:39:24 783 1
原创 运算符与运算符表达式
常见的C语言运算符共有八类,分别是。算术运算符、关系运算符、逻辑运算符、赋值运算符、条件运算符、逗号运算符、sizeof运算符、强制类型转换。 1.算术运算符与算术运算表达式 算符运算符包含:+、-、*、/、%(取余或取模)。 运算顺许续先 *、/、% 在 +、-。+ -运算符应注意递增递减运算i=3; j的值 j=i++; 3
2014-05-03 12:48:09 619
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人