- 博客(14)
- 收藏
- 关注
原创 [解決] Spark run on yarn (spark2-hdp-yarn-archive.tar.gz)
最近在yarn 上運行spark 遇到一個奇怪的問題:Diagnostics: ExitCodeException exitCode=2: gzip: /spare/hadoop/yarn/local/filecache/21_tmp/tmp_spark2-hdp-yarn-archive.tar.gz: unexpected end of filetar: This does...
2017-03-28 11:38:40 626
原创 [解決] java.lang.ClassNotFoundException:$$anonfun$1
在使用idea + maven 進行spark app 本地(windows)開發的過程中,遇到了java.lang.ClassNotFoundException:$$anonfun$1 . val conf = new SparkConfconf.setMaster(spark://<ip>:7077) 經過查閲資料,發現引起這個問題的原因是因爲j...
2017-03-27 11:45:53 1304
原创 Exception in thread "main" java.lang.NoSuchFieldError: INSTANCE
Exception in thread "main" java.lang.NoSuchFieldError: INSTANCE 此原因是由於httpclient & httpcore 版本過低(<4.3) Solution : 替換hadoop_home folder 下面所有httpclient & httpcore.jar 為大於4.3. (保守...
2017-03-06 20:54:30 1556
原创 APACHE SPARK: RDD, DATAFRAME OR DATASET?
[from] http://www.agildata.com/apache-spark-rdd-vs-dataframe-vs-dataset/ There Are Now 3 Apache Spark APIs. Here’s How to Choose the Right OneSee Apache Spark 2.0 API Improvements: RDD, Da...
2017-02-08 09:24:12 206
原创 [Maven] error: inconvertible types
今天在maven compile 的過程中突然遇到這樣一個問題: error: inconvertible types. 翻查了網上資料,最終發現是由於jdk 7 對於類型的支持進行了更嚴格的限制。貌似取消了自動拆箱的支持. 修改之前的code: (boolean)data[i][0] 應該改成:(Boolean)data[i][0] refer :...
2016-12-08 09:25:05 1301
原创 Maven - peer not authenticated
將 CA cert 導入 java 即可. ${JAVA_HOME}/bin/keytool -import -trustcacerts -noprompt -alias <alias_of_cert> -file <path_of_cert> -keystore ${JAVA_HOME}/jre/lib/security/cacerts -storepa...
2016-10-23 13:23:35 849
原创 Caused by: java.lang.ClassNotFoundException: org.apache.htrace.SamplerBuilder
經過網上苦尋,最終翻查了在\hadoop-2.7.2\share\hadoop\common\lib (我用的版本是2.7.2) 找到了htrace-core-3.1.0-incubating. 這個sampleBuilder 只在3.1.0裏面有,在現在最新的版本4.1.0已經消失了。所以只需要mvn install 這個jar 就好了。...
2016-08-09 11:17:32 1117
原创 org/apache/hadoop/util/PlatformName 异常
[轉]http://www.blogjava.net/snoics/archive/2010/10/10/333408.html 加上hadoop-auth-xx.jar
2016-08-09 10:00:15 1620 1
原创 java.io.IOException: Could not locate executable null\bin\winutils.exe in the Ha
[轉]http://www.cnblogs.com/hyl8218/p/5492450.html
2016-08-09 09:57:54 94
原创 org.apache.hadoop.ipc.RemoteException: Server IPC version 9 cannot communicate w
[轉]http://blog.csdn.net/u012554102/article/details/47971697 原因是hadoop-core中的ipc 版本太低。解決方法是:在pom 中加入hadoop-hdfs / hadoop-common / hadoop-client ,同時刪除hadoop-core即可...
2016-08-08 23:37:11 1237
原创 Maven 動態配置properties (resources)
本文只作記錄和參考,希望對自己或者各位路人都有多少價值。 在實際開發過程中,配置信息會因為不同環境而有所不同。而過多的人工干預,會增加工作量和錯誤率。現在記錄的是如何使用maven快速安全地切換配置信息而不需要多餘的人工修改干預。我們就以最常見的數據庫信息切換作為例子。 Project Structure: ------src ...
2016-04-09 21:12:05 245
原创 [ Spring ] Bean LifeCycle
Bean Life Cycle (Initialization & Destory) We have 3 ways to control th life-cycle of Bean.1) @PostConstruct and @PreDestory2) afterPropertiesSet() from interface InitializingBean d...
2012-12-27 21:50:04 86
原创 Struts2使用Annotation返回Json
最近使用ssh構建服務器,用於與android客戶端的通訊。期間每每添加action或者new method都必須改配置文件,久而久之很煩,於是於昨夜決定,今日起身后嘗試用annotation返回json(過往不曾嘗試...). 由於之前嘗試使用annotation跳轉到頁面,因此覺得返回json應該是差不多的。不過真的誰試誰知道...哎... 最後通過木有...
2012-05-19 20:41:33 107
原创 struts2.3.3 re-HelloWorld
在不假思索的将/lib下的所有jar 添加到项目去之后,出现了各种各样诡异的错误,比如说什么gxp。google无果,遂立心再从零开始,并记以博客供日后查询。 回顾电脑中的上一个Struts2版本已经是2.2.1,看来鄙人阔别都已经有相当时间...小试了一下,2.3.3( 2.2.1<x<2.3.3, x没有作全部测试 )在基础jar方面有那么一点增加。 ...
2012-05-11 09:15:17 107
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人