iteye_4103-CSDN博客

原创 [解決] Spark run on yarn (spark2-hdp-yarn-archive.tar.gz)

最近在yarn 上運行spark 遇到一個奇怪的問題：Diagnostics: ExitCodeException exitCode=2: gzip: /spare/hadoop/yarn/local/filecache/21_tmp/tmp_spark2-hdp-yarn-archive.tar.gz: unexpected end of filetar: This does...

2017-03-28 11:38:40 614

原创 [解決] java.lang.ClassNotFoundException:$$anonfun$1

在使用idea + maven 進行spark app 本地(windows)開發的過程中，遇到了java.lang.ClassNotFoundException:$$anonfun$1 . val conf = new SparkConfconf.setMaster(spark://<ip>:7077) 經過查閲資料，發現引起這個問題的原因是因爲j...

2017-03-27 11:45:53 1276

原创 Exception in thread "main" java.lang.NoSuchFieldError: INSTANCE

Exception in thread "main" java.lang.NoSuchFieldError: INSTANCE 此原因是由於httpclient & httpcore 版本過低(<4.3) Solution : 替換hadoop_home folder 下面所有httpclient & httpcore.jar 為大於4.3. (保守...

2017-03-06 20:54:30 1539

原创 APACHE SPARK: RDD, DATAFRAME OR DATASET?

[from] http://www.agildata.com/apache-spark-rdd-vs-dataframe-vs-dataset/ There Are Now 3 Apache Spark APIs. Here’s How to Choose the Right OneSee Apache Spark 2.0 API Improvements: RDD, Da...

2017-02-08 09:24:12 191

原创 [Maven] error: inconvertible types

今天在maven compile 的過程中突然遇到這樣一個問題: error: inconvertible types. 翻查了網上資料，最終發現是由於jdk 7 對於類型的支持進行了更嚴格的限制。貌似取消了自動拆箱的支持. 修改之前的code： (boolean)data[i][0] 應該改成：(Boolean)data[i][0] refer :...

2016-12-08 09:25:05 1291

原创 Maven - peer not authenticated

將 CA cert 導入 java 即可. ${JAVA_HOME}/bin/keytool -import -trustcacerts -noprompt -alias <alias_of_cert> -file <path_of_cert> -keystore ${JAVA_HOME}/jre/lib/security/cacerts -storepa...

2016-10-23 13:23:35 830

原创 Caused by: java.lang.ClassNotFoundException: org.apache.htrace.SamplerBuilder

經過網上苦尋，最終翻查了在\hadoop-2.7.2\share\hadoop\common\lib (我用的版本是2.7.2) 找到了htrace-core-3.1.0-incubating. 這個sampleBuilder 只在3.1.0裏面有，在現在最新的版本4.1.0已經消失了。所以只需要mvn install 這個jar 就好了。...

2016-08-09 11:17:32 1105

原创 org/apache/hadoop/util/PlatformName 异常

[轉]http://www.blogjava.net/snoics/archive/2010/10/10/333408.html 加上hadoop-auth-xx.jar

2016-08-09 10:00:15 1583 1

原创 java.io.IOException: Could not locate executable null\bin\winutils.exe in the Ha

[轉]http://www.cnblogs.com/hyl8218/p/5492450.html

2016-08-09 09:57:54 88

原创 org.apache.hadoop.ipc.RemoteException: Server IPC version 9 cannot communicate w

[轉]http://blog.csdn.net/u012554102/article/details/47971697 原因是hadoop-core中的ipc 版本太低。解決方法是：在pom 中加入hadoop-hdfs / hadoop-common / hadoop-client ，同時刪除hadoop-core即可...

2016-08-08 23:37:11 1226

原创 Maven 動態配置properties (resources)

本文只作記錄和參考，希望對自己或者各位路人都有多少價值。在實際開發過程中，配置信息會因為不同環境而有所不同。而過多的人工干預，會增加工作量和錯誤率。現在記錄的是如何使用maven快速安全地切換配置信息而不需要多餘的人工修改干預。我們就以最常見的數據庫信息切換作為例子。 Project Structure: ------src ...

2016-04-09 21:12:05 228

原创 [ Spring ] Bean LifeCycle

Bean Life Cycle (Initialization & Destory) We have 3 ways to control th life-cycle of Bean.1) @PostConstruct and @PreDestory2) afterPropertiesSet() from interface InitializingBean d...

2012-12-27 21:50:04 77

原创 Struts2使用Annotation返回Json

最近使用ssh構建服務器，用於與android客戶端的通訊。期間每每添加action或者new method都必須改配置文件，久而久之很煩，於是於昨夜決定，今日起身后嘗試用annotation返回json(過往不曾嘗試...). 由於之前嘗試使用annotation跳轉到頁面，因此覺得返回json應該是差不多的。不過真的誰試誰知道...哎... 最後通過木有...

2012-05-19 20:41:33 96

原创 struts2.3.3 re-HelloWorld

在不假思索的将/lib下的所有jar 添加到项目去之后，出现了各种各样诡异的错误,比如说什么gxp。google无果,遂立心再从零开始,并记以博客供日后查询。回顾电脑中的上一个Struts2版本已经是2.2.1，看来鄙人阔别都已经有相当时间...小试了一下，2.3.3( 2.2.1<x<2.3.3， x没有作全部测试 )在基础jar方面有那么一点增加。 ...

2012-05-11 09:15:17 96

iteye_4103的博客