- 博客(25)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 在win上开发scala所遇到的坑
原来，自己的项目一直都是在Linux的上面维护的，可是最近由于要进行项目的变更，说白了，自己想要在win的环境下编译spark程序，上面一篇文章有介绍spark的项目在win上面安装的过程，此时，我们来介绍一下我们所踩过的坑。例如spark1.6.0是基于scala2.10.x的，如果用intellj创建基于scala2.11.x的项目，打包出来的jar包，用spark-submit运行spa
2016-12-30 19:29:28
662
转载 Spark:Eclipse手动安装scala开发插件
Scala的官方网站提供了开发Scala代码的IDE，但是很多人都有已经在使用的Eclipse，想要在现有Eclipse的基础上添加插件来进行开发。1、下载Eclipse的Scala插件。下载网址：http://scala-ide.org/download/current.html进去网址后，向下拉动网页，可以看到如图中红色线条选中的位置，点击下载手动安
2016-12-29 19:28:36
13826
转载 windows下spark开发环境配置
特注：windows下开发spark不需要在本地安装hadoop，但是需要winutils.exe、hadoop.dll等文件，前提是你已经安装了eclipse、maven、jdk等软件spark支持jdk版本建议是1.8及以上，如果开发spark建议将jdk编译版本设置为1.8 我选择的spark是spark-1.4.0-bin-hadoop2.6.tgz，故以该版本为例
2016-12-29 18:59:48
596
原创 IDEA关于maven以及scala的性质
近来，在写项目的时候，运用IDEA，由于在公司内部，需要使用内网的情况下，当我想做自己的项目的时候，这个时候就显得有点不是那么方便了，我一个是使用自己公司的setting，另外一个事使用阿里的仓库，刚开始每一次导项目的时候，我都创建两个包，当我想从阿里的仓库的时候，我每一都在maven/conf/阿里/settings.xml,这个样子下载jar包，但是感觉这个每一都不行，都错，都会说我访问的是公
2016-12-29 15:34:23
395
原创 IDEA中maven项目支持scala
最近才入手IDEA,刚开始用，感觉真的挺好用的，下面介绍如何在IDEA中得到scala的支持首先我们先建立一个maven项目点击Finish,则我们就创建了一个最简单的maven项目，此时我们在导入pom文件中的依赖，让这个maven的项目中支持scala,则在pom.xml导入以下的依赖即可，有一点小修改我们在main与test底下创建一个directory，sc
2016-12-23 16:19:44
4898
原创 反思与总结1
不知道为什么，最近总是有点心神不宁的，我这个人就是有这样活那样的毛病，本来有些事我一直都是很有信心去想着把它做好的，但是只要有一个事情，或者说是一个突然之间，我被什么东西打断的话，或者说是自己突然脑子里想了一件别的时期，而且，我这个人安全感有点低（这么说可能是矫情了），我都在想以后的事情，我害怕以后的日子，还像现在这般，我害怕以后没有能力去照顾父母，害怕没有能力去照顾我喜欢的人，我害怕的事情太多了
2016-12-19 12:54:23
362
原创 settings.xml的读取顺序问题
今天，遇到了一个读取顺序的问题，很是苦恼，我在使用maven的项目的时候，我想根据pom文件下载jar包，可是奇怪的是，这个下载jar的路径一致都不对，显示的路径是公司的地址，这就奇怪了，我的maven的地址明明用的是中央仓库呀，然后我用重新试了一遍，还是不对，后面我用看了一下C盘下面的./m2/repository的仓库里面有一个settingx.xml的问题，我把这个文件删除之后，然后在重新下
2016-12-18 18:51:29
810
原创 applicationContext.xml内容详情
<beans xmlns="http://www.springframework.org/schema/beans" xmlns:context="http://www.springframework.org/schema/context" xmlns:aop="http://www.springframework.org/schema/aop" xmlns:xsi="http://www
2016-12-16 11:03:20
449
转载 程序员英语
概要这篇文章面向程序员，简要的介绍了一些学习计算机专业英语的步骤和经验。关于之前不少人曾站内我如何学习英语，我也曾试图写一篇如何学习英语的博文，但我现在的实力着实无法写出令人信服的文章：尽管阅读、写作和听力还可以，但口语很差——我指的是日常用语，即便出国一年，现在我和同事交流时仍然磕磕巴巴，不知道用什么词的情况经常出现；尽管读过大量外文资料，但它们绝大多是计
2016-12-14 14:55:29
599
原创 创建一个maven的项目
今天，我们创建一个maven的项目，顺便我们利用java来抓取一个url的里面的内容，主要是介绍maven的项目的建立第一步创建maven的项目框架new --> other --->Maven -->Maven Project接下来我们填写maven的一些基本信息:Group Id：相当于是公司的网址Artafact Id:相当于是该项目特定的编号
2016-12-14 03:14:04
324
原创 Starting Tomcat v7.0 Server at localhost' has encountered a problem
今天导入项目的遇到了这样的一个问题，感觉顿时觉得不可思议最后试了一下，Eclipse->window->preferences->Server->Runtime Environments点击Tomcat->Edit->JRE(把此时的jRE改为自己的JDK的版本)最后在说一个小知识点，一般java web项目最基本的就是这些东西，不要少配置
2016-12-13 00:51:02
4952
转载 linux下打开windows txt文件中文乱码问题
在Linux操作系统下，我们有时打开在windows下的txt文件，发现在windows下能正常显示的txt文件出现了中文乱码。出现这种情况的原因为两种操作系统的中文压缩方式不同，在windows环境中中文压缩一般为gbk，而在linux环境中为utf8，这就导致了在windows下能正常显示txt文件在linux环境下打开呈现了乱码状态。解决方法：在linux用iconv命令
2016-12-12 13:22:48
591
转载 Linux下如何安装Firefox
第一步：到官方网站下载最新版本的firefox，网址如下：http://www.firefox.com.cn/download/第二步：把下载的文件拷贝到/usr/local目录下sudo mv Firefox**.tar.gz /usr/local第三步：进入/usr/local，解压Firefox**.tar.gzsudo tar -jxvf Firef
2016-12-12 13:20:21
7097
原创 Zeppelin的简易安装
1.我们需要在下载一个安装包(linux的环境下)2.进入bin目录下,执行./zeppelin-daemon.sh start3.访问你的ip+端口(默认为8080)http://:Port>下面有一篇的基础介绍，挺好的。
2016-12-12 10:16:59
407
原创 Azkaban实战
启动web服务器在azkaban web服务器目录下执行启动命令bin/azkaban-web-start.sh执行服务器在执行服务器目录下执行启动命令bin/azkaban-executor-start.sh启动完成后,在浏览器(建议使用谷歌浏览器)中输入https://服务器IP地址:8443 ,即可访问azkaban服务了.在登录中输入刚才
2016-12-10 21:11:12
796
原创 Azkaban实例的配置文件
上一次我们讲解了Azkaban的安装，这节我们讲解一下如何运用Azkaban首先我们先介绍一下什么是Azkaban:Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。]Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。它有如下功能特点：1We
2016-12-10 21:00:16
6904
转载 Azkaban安装
Azkaban是由Linkedin开源的一个批量工作流任务调度器准备工作Azkaban Web服务器azkaban-web-server-2.5.0.tar.gzAzkaban执行服务器?azkaban-executor-server-2.5.0.tar.gzMySQL 目前azkaban只支持?mysql,需安装mysql服务器,本文档中默认已安装好mysql服
2016-12-09 21:59:14
427
转载 如何查看Windows下端口占用情况
在开始-运行，输入CMD打开命令行界面，输入命令netstat -ano | findstr "80" （注80是你想要看查看的端口号）就会输出包含80端口使用的情况具体对应的行是协议 本地地址 外部地址 状态 PID如果想看某个进程具体是哪个进程可以使用下面命令
2016-12-09 15:06:51
196
转载 Oracle Linux 6 安装telnet包问题处理
1、将CDROM挂载 今天在光盘安装Oracle LINUX 6时忘记选择安装telnet包，于是要在进入系统后手动安装rpm包。安装步骤如下： mount /dev/cdrom /mnt2、进入rpm包目录 cd /mnt/Packages3、找到telnet服务包 find |grep telnet ./telnet-0.17-46.el6.x86_
2016-12-09 10:04:48
909
转载 centOS安装telnet(在线和rpm包安装）
在执行telnet时会提示命令不存在，此时输入命令 rpm -qa telnet-server ，若无输出内容，则表示没有安装。1.在线安装分别执行如下两个命令：yum install telnetyum install telnet-server2.rpm包安装下载对应的rpm包：下载地址 http://vault.centos
2016-12-09 10:03:49
21856
8
转载 Flume的安装与配置
Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统原理:1、Flume分布式系统中最核心的角色是agent，flume采集系统就是由一个个agent所连接起来形成2、每一个agent相当于一个数据传递员[Source 到 Channel 到 Sink之间传递数据的形式是Event事件；Event事件是一个数据流单元。内部有三个组件：a)S
2016-12-09 10:01:03
415
转载 如何在Linux下安装Mysql
首先下载下面三个文件(我的资源里面都可以下载的到)： [plain] MySQL-client-5.6.13-1.el6.x86_64.rpm MySQL-devel-5.6.13-1.el6.x86_64.rpm MySQL-server-5.6.13-1.el6.x86_64.rpm 然后使用root账号登陆，进行安
2016-12-07 18:35:57
845
原创 Git的流程的参考
1.如果你在准备改代码的时候，切记一定要pull, 把最新的代码pull到本地，也更新最新的代码，这个时候，在在此基础上进行修改，否则就会遇到冲突，切记（最重要的一点）2.从远端拿到本地的时候，这个时候叫做pull,把自己的项目上传到远端的时候,这个时候叫做push3.如果一旦遇到冲突不幸的情况下，我们如果确定自己的项目没有问题的情况下，我们可以对于这个文件在查看这个文件的差异的时候，可以
2016-12-06 16:15:07
318
原创 关于如何使用MapReducer来寻找共同好友
现在有一组数据，类似于A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,LE:B,C,D,M,LF:A,B,C,D,E,O,MG:A,C,D,E,FH:A,C,D,E,OI:A,OJ:B,OK:A,C,DL:D,E,FM:E,F,G冒号前面的这个字母代表的是一个人的QQ号，而冒号后面的则是这个人的这个人的好友，现在
2016-12-05 02:12:07
1754
转载 hadoop “util.NativeCodeLoader: Unable to load native-hadoop library for your platform”
hadoop安装完以后，经常会提示一下警告：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable搜了好多文章，都说是跟系统位数有关系，我使用的是Centos 6.5 64位操作系统
2016-12-02 10:20:25
284
MySQL-server-5.6.19-1.el6.x86_64.rpm
2016-12-07
MySQL-client-5.6.10-1.rhel5.x86_64.rpm
2016-12-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人