自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(14)
  • 收藏
  • 关注

原创 [解決] Spark run on yarn (spark2-hdp-yarn-archive.tar.gz)

 最近在yarn 上運行spark 遇到一個奇怪的問題:Diagnostics: ExitCodeException exitCode=2: gzip: /spare/hadoop/yarn/local/filecache/21_tmp/tmp_spark2-hdp-yarn-archive.tar.gz: unexpected end of filetar: This does...

2017-03-28 11:38:40 614

原创 [解決] java.lang.ClassNotFoundException:$$anonfun$1

 在使用idea + maven 進行spark app 本地(windows)開發的過程中,遇到了java.lang.ClassNotFoundException:$$anonfun$1 . val conf = new SparkConfconf.setMaster(spark://<ip>:7077)   經過查閲資料,發現引起這個問題的原因是因爲j...

2017-03-27 11:45:53 1276

原创 Exception in thread "main" java.lang.NoSuchFieldError: INSTANCE

Exception in thread "main" java.lang.NoSuchFieldError: INSTANCE 此原因是由於httpclient & httpcore 版本過低(<4.3) Solution :   替換hadoop_home folder 下面所有httpclient & httpcore.jar 為大於4.3. (保守...

2017-03-06 20:54:30 1539

原创 APACHE SPARK: RDD, DATAFRAME OR DATASET?

[from] http://www.agildata.com/apache-spark-rdd-vs-dataframe-vs-dataset/ There Are Now 3 Apache Spark APIs. Here’s How to Choose the Right OneSee Apache Spark 2.0 API Improvements: RDD, Da...

2017-02-08 09:24:12 191

原创 [Maven] error: inconvertible types

  今天在maven compile 的過程中突然遇到這樣一個問題: error: inconvertible types.  翻查了網上資料,最終發現是由於jdk 7 對於類型的支持進行了更嚴格的限制。貌似取消了自動拆箱的支持.   修改之前的code: (boolean)data[i][0]  應該改成:(Boolean)data[i][0]   refer :...

2016-12-08 09:25:05 1291

原创 Maven - peer not authenticated

將 CA cert 導入 java 即可.  ${JAVA_HOME}/bin/keytool -import -trustcacerts -noprompt -alias <alias_of_cert> -file <path_of_cert> -keystore ${JAVA_HOME}/jre/lib/security/cacerts -storepa...

2016-10-23 13:23:35 830

原创 Caused by: java.lang.ClassNotFoundException: org.apache.htrace.SamplerBuilder

經過網上苦尋,最終翻查了在\hadoop-2.7.2\share\hadoop\common\lib (我用的版本是2.7.2) 找到了htrace-core-3.1.0-incubating.  這個sampleBuilder 只在3.1.0裏面有,在現在最新的版本4.1.0已經消失了。所以只需要mvn install 這個jar 就好了。...

2016-08-09 11:17:32 1105

原创 org/apache/hadoop/util/PlatformName 异常

[轉]http://www.blogjava.net/snoics/archive/2010/10/10/333408.html 加上hadoop-auth-xx.jar

2016-08-09 10:00:15 1583 1

原创 java.io.IOException: Could not locate executable null\bin\winutils.exe in the Ha

[轉]http://www.cnblogs.com/hyl8218/p/5492450.html

2016-08-09 09:57:54 88

原创 org.apache.hadoop.ipc.RemoteException: Server IPC version 9 cannot communicate w

[轉]http://blog.csdn.net/u012554102/article/details/47971697  原因是hadoop-core中的ipc 版本太低。解決方法是:在pom 中加入hadoop-hdfs / hadoop-common / hadoop-client ,同時刪除hadoop-core即可...

2016-08-08 23:37:11 1226

原创 Maven 動態配置properties (resources)

    本文只作記錄和參考,希望對自己或者各位路人都有多少價值。     在實際開發過程中,配置信息會因為不同環境而有所不同。而過多的人工干預,會增加工作量和錯誤率。現在記錄的是如何使用maven快速安全地切換配置信息而不需要多餘的人工修改干預。我們就以最常見的數據庫信息切換作為例子。    Project Structure:    ------src      ...

2016-04-09 21:12:05 228

原创 [ Spring ] Bean LifeCycle

Bean Life Cycle (Initialization & Destory) We have 3 ways to control th life-cycle of Bean.1) @PostConstruct and @PreDestory2) afterPropertiesSet() from interface InitializingBean      d...

2012-12-27 21:50:04 77

原创 Struts2使用Annotation返回Json

      最近使用ssh構建服務器,用於與android客戶端的通訊。期間每每添加action或者new method都必須改配置文件,久而久之很煩,於是於昨夜決定,今日起身后嘗試用annotation返回json(過往不曾嘗試...).      由於之前嘗試使用annotation跳轉到頁面,因此覺得返回json應該是差不多的。不過真的誰試誰知道...哎...      最後通過木有...

2012-05-19 20:41:33 96

原创 struts2.3.3 re-HelloWorld

在不假思索的将/lib下的所有jar 添加到项目去之后,出现了各种各样诡异的错误,比如说什么gxp。google无果,遂立心再从零开始,并记以博客供日后查询。 回顾电脑中的上一个Struts2版本已经是2.2.1,看来鄙人阔别都已经有相当时间...小试了一下,2.3.3( 2.2.1<x<2.3.3, x没有作全部测试 )在基础jar方面有那么一点增加。  ...

2012-05-11 09:15:17 96

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除