- 博客(64)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 protostuff序列化异常java.lang.UnsupportedOperationException
最近使用protostuff序列化遇到异常java.lang.UnsupportedOperationException，一顿头大，看网上其他也没有相关的错误，然后检查了下最近新增的几行代码，发现传的参数里面有个对象的map是scala隐式转换得来的。我们可以看看下面的代码import scala.collection.JavaConverters._object TestCommon { def main(args: Array[String]): Unit = { val j
2022-05-12 11:50:33
470
原创 Initial job has not accepted any resources； check your cluster UI to ensure...
Spark on YARN执行任务driver端报错：org.apache.spark.scheduler.cluster.YarnScheduler: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources查了下网上出现这个问题的原因挺多的，下面记录下我遇到的情况：1、先讲下基本配置
2022-03-21 18:53:57
3480
原创 访问hdfs地址报错：java.io.IOException: Incomplete HDFS URI, no host: hdfs:
详细错误：Caused by: java.io.IOException: Incomplete HDFS URI, no host: hdfs:/test/conf/test.xml这个错误原因是缺少hadoop配置文件，将hadoop对应的配置（hdfs-site、core-site）文件加入到程序的classpath即可
2021-12-21 14:28:42
6195
4
原创 Spark-3.x报错：java.lang.NoSuchFieldError: JAVA_9
这个错误主要是因为Spark-3.x会依赖commons-lang3这个包普通的解决方法就不说了，解决冲突，缺少commons-lang3的加上去等等如果还不行，就检查下是否有hive-exec这个依赖的存在，打开它你会发现它里面竟然也有commons-lang3，但是它的JavaVersion这个类竟然不一样！！！如果是上面的问题，排除掉hive-exec就好了...
2021-03-11 19:13:35
4014
原创 Ubuntu14搭建HDP本地源
环境准备：Server1：本地源服务器Server2：测试服务器1.下载HDP安装包到Server1wget http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.6.0.0/ambari-2.6.0.0-ubuntu14.tar.gz2.在Server1安装apache2.1 安装
2018-01-06 16:29:37
971
原创 eclipse安装svn插件
版本：eclipse java ee 4.5一、网络好可以直接在线更新：进入help->Install New SoftWare然后输入地址：http://subclipse.tigris.org/update_1.7.x，等待安装即可二、在线安装比较慢，有时还是需要离线安装：1、在官网下载自己对应版本的插件：http://www.eclipse.org/subversive/
2017-04-07 11:43:32
660
原创 保存jstree信息并展示新的tree
代码如下： jstree basic demos html { margin:0; padding:0; font-size:62.5%; } body { max-width:800px; min-width:300px; margin:0 auto; padding:20px 10px; font-size:14px; font-size:1.4em; } h1 { f
2017-02-17 16:10:18
2156
原创 HDP2.4安装部署LZO
一、安装lzo包hadoop上安装lzo一般我们可以自己去下载lzo的包并且编译后安装，但比较麻烦。而HDP已经帮我们打包了lzo相关的rpm包，使用下面几个yum操作即可安装完毕：1、安装lzo基本包：yum -y install lzo lzo-devel hadoop-lzo hadoop-lzo-native2、安装hdp对应版本的lzo环境包（安装完会自动在hdp
2017-01-13 19:34:46
1686
2
原创 log4j2打印出spring和struts2的日志
最近web项目使用了log4j2，但发现无法打印spring和struts2的日志，然后查了下官方文档，描述如下：Using Log4j 2 in Web ApplicationsYou must take particular care when using Log4j or any other logging framework within a Java EE web
2016-10-28 11:42:08
3936
3
原创 ambari-agent启动报错
问题：在redhat6.4安装hdp没发现问题，但在redhat6.5安装hdp时出现下面的问题ambari-agent启动时报错：netutil.py:89 -SSLError: Failed to connect. Please check openssl library versions.在网上搜索一番之后，查看官方文档有相关问题描述：When deploying HDP
2016-10-07 18:27:52
6772
原创 HDP 2.4安装
一、环境准备：1、先了解下HDP2.4HDP2.4包含了hadoop2.7、hive1.2.1、tez0.7等等比较新的组件，具体可参考官方文档：http://zh.hortonworks.com/hdp/whats-new/。2、搭建本地yum源当服务器没有外网环境或者网络情况不好时，可以搭建本地yum源，先要下载hdp和ambari的相关文件，参照官方文档，需要下载下面三个文件
2016-03-27 14:44:17
6477
原创 hive的启动
一、通过Hive CLI（command line interface）方式启动$ bin/hive15/10/20 15:12:01 INFO Configuration.deprecation: mapred.input.dir.recursive is deprecated. Instead, use mapreduce.input.fileinputformat.input.dir.
2015-10-20 15:50:27
780
原创 解决Unable to load native-hadoop library for your platform
安装hadoop启动之后总有警告：Unable to load native-hadoop library for your platform... using builtin-java classes where applicable环境：Red Hat 6.4 64位，jdk1.7 64位在网上找了很久，试了好多个解决方法，终于成功了。下面分享下，希望帮助遇到类似问题的人。首先找到
2015-09-20 14:39:55
35503
5
原创 安装VMware Tools
一、先启动要安装的虚拟机，然后选中虚拟机，接着点击菜单：虚拟机---安装VMware Tools（T）二、然后我们可以看到VMware Workstation下方有提示：1、进去目录/media，我们可以看到下面有个VMware Tools：2、接着解压安装[root@hadoopTest VMware Tools]# cd VMware\
2015-09-19 18:19:20
709
原创 VMware Workstation中安装64位linux
软件版本：VMware Workstation 10Red hat 6.4一、打开VMware Workstation，按下图操作：点击完成，虚拟机创建完毕。二、开始在刚创建的虚拟机里创建操作系统1、选择刚刚安装的虚拟机，点击CD/DVD，选择ios镜像路径，然后点击
2015-09-19 16:47:12
4533
原创 解决maven Unable to update index for central|http://repo1.maven.org/maven2 的问题
新配置了一个maven的环境，远程仓库默认为maven官网的，然后发现在myeclipse里用maven搜索jar包时，一个都搜不到，于是开始找原因，试了各种办法，还是不行。后来查了一下maven需要在update index之后才能帮助我们自动搜索jar包。解决办法，手动update index：1、首先手动去官网下载这两个文件，http://repo1.maven.org/ma
2015-02-03 14:58:15
21133
4
原创 spring+spring mvc+spring jdbc
一、基本环境：myeclipse8.5、tomcat 6.0.4、spring 3.1.1二、搭建步骤 1、 org.springframework.web.context.ContextLoaderListener contextConfigLocation classpath:applicationContext.xml
2014-10-15 08:58:16
6695
2
原创 spring配置多个数据源
原帖地址：http://bbs.csdn.net/topics/320191834 一、首先在spring配置文件中做如下配置：dataSource1和dataSource2是两个自定义的数据源。 二、编写工具类类1： 类2：三、dao调用public PageBean getCapEvents(String tableDate,IntegerpageNo,
2014-10-15 08:58:14
611
原创 PLSQL DEVELOPER和TOAD安装配置InstantClient
本人操作系统版本：win7 64位一、下载32位安装文件（http://www.oracle.com/technetwork/topics/winsoft-085727.html）instantclient-basic-nt-11.2.0.4.0.zipinstantclient-jdbc-nt-11.2.0.4.0.zipinstantclient-sqlplus-nt-11.2.0.4
2014-10-15 08:58:12
2118
原创 java compareTo对list中的map进行倒序排序
类ComparatorListimport java.util.Comparator;import java.util.Map;public class ComparatorList implements Comparator{ private String compareStr; public ComparatorList(){ } publicC
2014-10-15 08:58:10
6976
原创 java中类的加载顺序
一、触发类加载的几种情况： (1)、调用静态成员时，会加载静态成员真正所在的类及其父类。 通过子类调用父类的静态成员时，只会加载父类而不会加载子类。 (2)、第一次 new 对象的时候 加载(第二次再 new 同一个类时，不需再加载)。(3)、加载子类会先加载父类。（覆盖父类方法时所抛出的异常不能超过父类定义的范围）注：如果静态属性有 final 修饰时，则不会加载，当成常量使用。
2014-10-15 08:58:05
444
原创 多态（二）
四、构造器和多态构造器不同于其它种类的方法，它们实际上是static方法，只不过该static方法是隐式的。基类的构造器总是在导出类的构造过程中被调用，而且按照继承层次逐渐向上链接，以使每个基类的构造器都能得到调用。这样做是有意义的，因为构造器有一项特殊的任务：检查对象是否正确的被构造。导出类只能访问它自己的成员，不能访问基类中的成员(基类中的成员通常是private的），只有基类的构造器才有
2014-10-15 08:58:03
635
原创 多态（一）
JAVA面向对象的三个基本特征：封装、继承、多态。一、向上转型对象既可以作为它本身的类型使用，也可以作为它的基类型使用。而这种把对某个对象的引用视为对其基类型的引用的做法被称作向上转型。package extendsTest;public class People{ public static void eat(Fruits f){ f.appearance(); }
2014-10-15 08:58:01
642
原创 java单例模式
JAVA单例模式 一、静态内部类，优点：加载时不会初始化静态变量INSTANCE，因为没有主动使用，达到Lazyloading class InternalSingleton{ privatestatic class SingletonHolder{ private final static InternalSingletonINSTANCE=new
2014-10-15 08:57:59
422
原创 java中类的加载，及执行顺序【转】
原帖地址：http://hi.baidu.com/linyongboole/item/74c32815dbe5c10fd1d66d04 类的加载顺序 什么时候类加载 第一次需要使用类信息时加载。 类加载的原则：延迟加载，能不加载就不加载。 触发类加载的几种情况： (1)、调用静态成员时，会加载静态成员真正所在的类及其父类。 通过子类调用父类的静态成员时，只会加载父类而不会加载子
2014-10-15 08:57:57
401
原创 HBase的基本操作
主要用到HTable的put、delete、get等方法详见下面代码 publicclass HBaseTestCase{static Configuration cfg=null;static {//默认加载classpath目录下的文件cfg=HBaseConfiguration.create();//cfg.addResource("ch2/hbase-
2014-10-15 08:57:55
451
原创 VMWare网络设置的3中方式【转】
转载地址：http://www.cnblogs.com/itech/archive/2011/02/12/1952836.html 一 VMware网络设置的三种方式1 Host-only连接方式让虚机具有与宿主机不同的各自独立IP地址，但与宿主机位于不同网段，同时为宿主主机新增一个IP地址，且保证该IP地址与各虚机IP地址位于同一网段。最终结果是新建了一个由所有虚机与宿主主机所构成的
2014-10-15 08:57:52
479
原创 Linux:more命令
more命令，功能类似 cat ，cat命令是整个文件的内容从上到下显示在屏幕上。 more会以一页一页的显示方便使用者逐页阅读，而最基本的指令就是按空白键（space）就往下一页显示，按 b 键就会往回（back）一页显示，而且还有搜寻字串的功能 。more命令从前向后读取文件，因此在启动时就加载整个文件。1．命令格式：more [-dlfpcsu ] [-num ] [+/ pat
2014-10-15 08:57:50
439
原创 RTTI(Run-Time Type Identification)
RTTI的3种形式： 1、通过RTTI,程序能够使用基类的指针或引用来检查这些指针或引用所指的对象的实际派生类型。如果执行了错误的类型转换，就会抛出一个ClassCastException异常。 2、代表对象类型的Class对象。通过查询Class对象可以获取运行期所需要的类信息。 3、关键字instanceof或者isInstance()方法。它们返回一个布尔值，告诉我们对象是
2014-10-15 08:57:48
637
原创 Java Thread(线程)案例详解sleep和wait的区别
转载地址http://www.cnblogs.com/DreamSea/archive/2012/01/16/SleepAndWaitDifferent.htmlsleep（）方法sleep()使当前线程进入停滞状态（阻塞当前线程），让出CUP的使用、目的是不让当前线程独自霸占该进程所获的CPU资源，以留一定时间给其他线程执行的机会; sleep()是Thread类的Static
2014-10-15 08:57:46
776
原创 java中的异常处理
1、异常的分类①异常的继承结构：基类为Throwable，Error和Exception继承Throwable，RuntimeException和IOException等继承Exception，具体的RuntimeException继承RuntimeException。 ②Error用来表示我们不用关心的编译期和系统错误（除了特殊情况），Exception是可以被抛出的基本类型，在jav
2014-10-15 08:57:44
652
原创 maven在myeclipse的配置和简单使用
一、myeclipse8.5默认支持maven，只需下载maven的jar包就ok了，官方下载地址：http://maven.apache.org/download.html，下载 apache-maven-3.0.4-bin.zip 即可。二、在preferences中找到maven4myeclipse，进去maven，配置好installations和usersetting参数，
2014-10-15 08:57:37
1437
原创 Synchronized同步的考虑【转】
当两个并发线程访问同一个对象object中的这个synchronized(this)同步代码块时，一个时间内只能有一个线程得到执行。另一个线程必须等待当前线程执行完这个代码块以后才能执行该代码块。2种使用方法 Synchronized method（） synchronized(this){}，它的作用域是当前
2014-10-15 08:57:35
594
原创 oracle小知识
通常我们认为truncate和drop都是ddl语句,都会释放表占用的空间,且不可回退;而他们的之间的区别在于我们平时忽略的reuse/dropstorage子句. reuse storage不会立即释放表的extent,我们可以先使用truncatetable tableName reusestorage,然后分批释放表的extent.这在删除大表时非常有用,避免大量的io操作,影响整
2014-10-15 08:57:33
335
转载 周杰伦何以成青少年偶像
原文地址：周杰伦何以成青少年偶像作者：王旭明周杰伦何以成青少年偶像王旭明 在日前腾讯网举办的年度教育盛典中，教育学者孙云晓公布了一项调查结果。这项结果表明，根据中国青少年研究中心的调查，当前排在第一位的最受中小学生欢迎的偶像就是周杰伦。这，令人很多人感到不可思议。当日我发表一篇微博如下：“一调查结果说当前青少年偶像，排在第一位的是周杰伦。有人据此称娱乐明星正取代主流形象，应该警惕。
2014-10-15 08:57:31
563
原创 [Ruby]配置Ruby开发环境【转】
[Ruby]配置Ruby开发环境最近想学习一下Ruby, 为了打建Ruby开发环境,真可以说是费了九牛二虎之力呀.现将记录如下: 1. 下载 Ruby SDKinstaller,最新版本为:1.9.3, 下载完后安装 http://rubyforge.org/frs/?group_id=167 2. 下载 Commonwatir-1.6.5.gem,firewa
2014-10-15 08:57:29
580
原创 java转义字符【转】
软回车（SoftReturn）：软回车是在字处理程序中作为自动移行功能的一部分自动插入的，也叫换行符，在word中看不见。如果文本一行的长度超过文档所定义的右边距时，即当前行没有足够的空间放置下一个字符时，文字处理软件将在这一行文本的末尾自动插入一个软回车符，文本另起一行。这个软回车符是由编辑程序自动产生的，叫做软回车。当重新设置文档的右边距并做重新排版时，软回车出现的位置就会自动改变。 在网
2014-10-15 08:57:27
778
原创 eclipse与myeclipse恢复已删除的文…
eclipse与myeclipse恢复已删除的文件和代码顿时感觉myeclipse真的很强悍啊；必须将这个功能写写，要不感觉就对不起myeclipse的作者1.类文件的恢复前些天在开发中，不小心将一个写着有数1000行代码的类删除了，本能下去按了ctrl+z进行恢复，但没有一点用，但还是搜索下有没有解决的方法，要重新写一遍真有点心不甘啊，哈哈终于还是找到了一个好方法：选择
2014-10-15 08:57:24
575
spark-submit cluster模式时driver-class-path支持hdfs路径
2022-04-23
jQuery的起点教程.rar
2010-08-16
scl-90量表及评分方法
2010-08-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人