2016年12月_passer199101

12月 11月 10月 09月 07月 06月 05月 04月 01月

原创使用maven解决jar冲突

1.pom部分配置如下 <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId> <version>2.1</version>

2016-12-30 15:52:36 1211

原创 git基于一个分支创建一个新分支

http://stackoverflow.com/questions/15026864/creating-git-branch-based-another-branch

2016-12-30 12:28:37 12199

原创 Maven类包冲突终极解决小技若干

http://stamen.iteye.com/blog/2030552

2016-12-30 11:54:54 606

原创 java.lang.NoSuchMethodError: com.fasterxml.jackson.databind.node.ArrayNode.<init>

http://stackoverflow.com/questions/34958520/nosuchmethodexception-in-maxmind-geoip-dependency-jackson-databind-built-with-mvhttp://ju.outofmemory.cn/entry/67085上边两篇文章大概可以解决这个问题 <plugin>

2016-12-29 20:02:26 4109

原创 MAC将根目录文件夹的权限赋给用户

https://my.oschina.net/liujiest/blog/7620041、sudu -i进入root模式（需输入密码）2、chown -R 用户名 /文件夹名sudo -iPassword:shuaigedeMacBook-Pro:~ root# mkdir /interestingchown -R shuaige /interesting

2016-12-29 10:44:41 29289 1

原创 spark-submit的参数files

参考：http://blog.csdn.net/book_mmicky/article/details/25714545 –files FILES 用逗号隔开的要放置在每个executor工作目录的文件列表

2016-12-28 17:26:52 6888 1

原创 spark中的广播变量和累加器

http://www.cnblogs.com/softlin/p/5223473.html

2016-12-27 18:11:01 756

原创什么是闭包

http://www.cnblogs.com/leoin2012/p/3978979.html

2016-12-27 18:05:34 270

原创 Java - Jar的解压和打包

http://blog.csdn.net/justdb/article/details/8279169jar -xvf project.war /project_a 压缩jar -xvf project.war //解压jar xvf test.jar //解压

2016-12-22 16:50:28 407

原创深入理解 Java try-with-resource 语法糖

https://gold.xitu.io/entry/57f73e81bf22ec00647dacd0

2016-12-21 17:56:46 428

原创清理linux的缓冲

修改drop_cachesecho 1 > /proc/sys/vm/drop_caches等清理完,重置回来echo 0 > /proc/sys/vm/drop_caches

2016-12-21 13:12:29 318

原创 Flume-ng-1.4.0安装及运行遇到问题总结

http://blog.csdn.net/panguoyuan/article/details/39555239

2016-12-21 13:06:13 246

原创 flume java.lang.OutOfMemoryError: GC overhead limit exceeded

http://stackoverflow.com/questions/29383578/how-to-convert-rdd-object-to-dataframe-in-sparkval txt1 = spark.read.textFile("hdfs://d2:8020/test/1.txt")val df1 = spark.createDataFrame(txt1.rdd)

2016-12-21 13:05:33 3199

原创 scala中Map的用法

http://stackoverflow.com/questions/29383578/how-to-convert-rdd-object-to-dataframe-in-sparkval txt1 = spark.read.textFile("hdfs://d2:8020/test/1.txt")val df1 = spark.createDataFrame(txt1.rdd)

2016-12-20 18:40:35 2169

原创 rdd转换为DataFrame

http://stackoverflow.com/questions/29383578/how-to-convert-rdd-object-to-dataframe-in-sparkval txt1 = spark.read.textFile("hdfs://d2:8020/test/1.txt")val df1 = spark.createDataFrame(txt1.rdd)

2016-12-20 17:32:07 529

原创 mongodb的使用

很好的mongodb入门知识 http://www.cnblogs.com/huangxincheng/category/355399.htmlmongodb官网：https://www.mongodb.com/download-center?jmp=homepage#community

2016-12-19 17:24:28 251

原创 Eclipse won't launch because `reload maven project has encountered a proble m`

关于eclipse因为maven无法启动的问题，参考以下两个网页 http://www.91linux.com/html/2016/eclipse_1018/15540.htmlhttp://stackoverflow.com/questions/31080665/eclipse-wont-launch-because-reload-maven-project-has-encountered-a-

2016-12-08 17:21:47 1775 3

原创 aliyun阿里云Maven仓库镜像地址

国内使用Maven速度太慢，之前有开源中国的镜像，现在开源中国的镜像仓库关闭了，阿里云公开了他们的镜像仓库 http://maven.aliyun.com/nexus在maven的settings.xml 文件里配置mirrors的子节点，添加如下mirror<mirror> <id>nexus-aliyun</id> <mirrorOf>*</mirrorOf> <nam

2016-12-06 20:28:15 12568

hadoop2 文件读写原理

这个文档讲述了hadoop2的文件读写原理,不过是英文的,英文不好的同学下载的时候,要谨慎了

2015-06-25

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人