- 博客(8)
- 资源 (2)
- 问答 (3)
- 收藏
- 关注
RSS订阅原创 Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-02
接下来进行打包，使用Project Structure的Artifacts：使用From modules with dependencies：选择Main Class：点击“OK”:把名称改为SparkDemoJar：因为每台机器上都安装了Scala和Spark，所以可以把Scala和Spark相关的jar文
2015-02-12 13:02:04
14380
原创 Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01
创建一个Scala IDEA工程：点击“Next”：点击“Finish”完成工程的创建：修改项目的属性：首先修改Modules选项：在src下创建两个文件夹，并把其属性改为source：再修改Libraries：因为要开发Spark程序，所以需要把Spark的开发需要的jar包导
2015-02-10 13:07:45
15462
原创 hadoop2.6.0版本搭建伪分布式环境
由于个人需要在自己的笔记本上搭建hadoop伪分布环境，为了方便自己使用，如想看机器也看之前的一篇博客：hadoop2.6版本集群环境搭建
2015-02-06 15:56:46
50250
26
原创 Spark API编程动手实战-07-join操作深入实战
我们在hdfs的/data/join创建两个文件：上传第一个文件名称为1.txt内容第一列是日期，第二列uid(普通用户id)上传第二个文件名称为2.txt内容第一列是日期，第二列uid(普通用户id)执行上传到hdfs：hdfs命令行查询：web控制台管理查询：首先在命令行中设置日期格式：然后声明
2015-02-05 14:37:10
18579
原创 centos修改主机名整理（勿喷）
1.临时修改主机名显示主机名：spark@master:~$ hostnamemaster修改主机名：spark@master:~$ sudo hostname hadoopspark@master:~$ hostnamehadoopPS:以上的修改只是临时修改，重启后就恢复原样了。2.永久修改主机名
2015-02-04 10:36:31
14389
原创 clover分布式任务调度系统
1、clover分布式调度介绍clover分布式任务调度是完全使用Java技术自主开发特点如下:1、防单点故障2、job可部署多台，但任务调度时，只有一台参执行。如果一台下线，clover选择其他已在zookeeper注册job来执行。3、可管理监控程序 ，相关负责人的job不可用会发送邮件通知4、提供管理后台，可手动
2015-02-03 14:41:23
50685
16
zookeeper java.lang.NoSuchMethodError异常
2014-12-10
到底年前去京东商城实习还是不去？
2011-11-23
求今年12月1去京东商城实习的朋友
2011-11-22
TA创建的收藏夹 TA关注的收藏夹
TA关注的人