2017年05月_梦岚如雪

原创 windows下ant的安装与小测试

最近很长一段时间没写博客了，都不知道写啥了，刚过完端午，又要上班了，不能再懒下去了，最近一直在搞一个项目的搭建，涉及很多东西之前都没用过，什么ant啦，osgi之类的，搞得是一脸懵逼，满头雾水，，算了不管怎样，博客还是要坚持写下去的，这里先写下ant的安装环境变量配置吧，虽然很简单，记录下流程而已。1 .首先去ant的官网 http://ant.apache.org/bindownload.cgi下

2017-05-31 21:16:01 3879 1

原创 sbt的安装以及用sbt编译打包scala编写的spark程序

众所周知，spark可以使用三种语言进行编写，分别是scala，phython，java三种语言，而且执行方式不同，Scala是用sbt编译打包，Java是用Maven进行编译打包，而phython则是用spark-submit提交运行。而sbt本身就是用scala进行编写的。这里记录以下自己在Linux下安装sbt的过程以及编译打包spark程序的流程，以做备忘。1 .首先进入根目录创建相应的目录

2017-05-18 17:29:59 25422 7

原创 Maven的安装以及创建项目pom无法自动下载jar包解决方案

最近用Scala IDE搞Spark出现一些小问题，这里记录下。首先Scala自带Maven功能，但是默认仓库是放在C盘的，为了方便，后期万一出现C盘格式化那么就得重来一遍了。 1 .之前已经在本地安装了maven，修改下maven的conf文件夹下的settings.xml,指定本地仓库的存放位置 2 . 之后打开Scala IDE，在windows选项中

2017-05-18 11:35:26 12919

原创 Linux下搭建spark集群开发环境

之前在windows下搭建了一个spark的开发环境，但是后来发现如果想要搞spark streaming的例子的话在Linux下使用更方便，于是在centos7下面搭建一下spark开发环境，记录以做备忘之用。1 .首先去spark官网下载相关软件，我这里用的是spark2.1.0版本http://write.blog.csdn.net/mdeditor，对应的hadoop版本是2.7.02 .

2017-05-17 11:02:04 7796 4

原创在windows本地编写spark的wordcount

最近要用到spark，这里记录以下在windows本地搭建spark的词频统计的整个流程。首先明确一下版本，这里用的是hadoop-2.7.0版本，spark版本必须要与之对应，这里用的是下面这个，下载地址在这里http://spark.apache.org/downloads.html ，这里用的是scale ide，对应的scala版本是2.11.8,对应的jdk是1.8,好了废话不多说，直接进

2017-05-15 22:24:24 5055

原创通过Maven进行jedis连接redis

最近项目要用到redis，很多东西忘得差不多了，稍微回顾了利用Java客户端连接redis的过程，这里jedis是连接redis的Java客户端，如果没有Maven，需要手动下载jar包，很麻烦，于是这里使用Maven，记录下连接过程。 1 .首先打开redis-server.exe，确保服务器开启 2 .之后打开eclipse创建一个maven工程这里qqq是项目名，aaa是组

2017-05-15 15:47:36 6524

原创用Maven实现一个protobuf的Java例子

最近需要用到protobuf协议，将json转化为protobuf，而事实上对protobuf完全不懂，所以参考了多篇文章先实际搭建一个例子看看，记录下过程。 1.首先去github上下载prtobuf-master.zip http://blog.csdn.net/antgan/article/details/52103966 2 .之后下载这么一个东西

2017-05-15 10:56:51 9382

原创在windows上eclipse安装hadoop2.7插件

之前在linux下用eclipse安装hadoop插件，无奈不知是电脑配置过于垃圾还是其他什么原因实在是卡的要死，为此不得不在本地安装，之后打成jar包放入linux运行折中了。这里记录下过程方便后期回看一下。首先之前已经准备好相关软件eclispe64位，jdk1.8版本，hadoop-2.7.0tar.gz压缩包，以及对应的hadoop-2.7.0插件，接下来开始进入eclipse将之前在虚

2017-05-06 19:44:39 6286 2

梦岚如雪