- 博客(6)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Spark初识
Spark计算模型 Spark将数据（包括部分中间数据）放在内存，在内存中计算，用户将重复利用的数据缓存在内存，提高下次的计算效率，因此Spark尤其适合迭代型和交互型任务，Spark需要大量的内存，但性能可随机器数目呈多线性增长。 Spark程序模型 RDD：弹性分布式数据集 RDD操作起来与scala集合类型没有太大的差别，这就是Spark追求的目标，像编写单机程序一样编写分布式程序，但
2016-06-28 16:10:28
338
原创 Spark之WordCount
WordCount 的主要功能就是统计输入中所有单词的出现的次数，辨析的步骤如下 1。初始化 创建一个SparkContext对象，该对象有4个参数：Spark master位置、应用程序名称、Spark安装目录和jar存放位置 加载文件 val textRDD = sc.textFile(“file:///home/test/sparkcont”) 将文件使用flatMap来按行进行处
2016-06-24 14:00:25
308
原创 在linux中部署tomcat
下载tomcat8 http://tomcat.apache.org/download-80.cgi 点击archives 选择一个需要下载的版本 之后上传到linux中 [root@bigdata-server-1 opt]# tar -zxf apache-tomcat-8.0.20.tar.gz [root@bigdata-server-1 opt]# mv apach
2016-06-23 13:57:29
359
原创 Sqoop的那些事
Sqoop的安装 该项目位置：http://sqoop.apache.org/ 下载之后直接解压就好了，安装超级简单。 Sqoop连接器 sqoop拥有一个可扩展的框架，使得他能够从（向）任何支持批量数据传输的外部存储系统导入（导出）数据。sqoop可以连接到大多数的关系型数据库，比如mysql、Oracle、sql server和DB2等。同时还有一个jdbc连接器
2016-06-20 12:17:19
272
原创 java日期格式的转换
Date d = new Date(); long nowTime = d.getTime();//换区现在的时间（格式是毫秒的）SimpleDateFormat sdf=new SimpleDateFormat(“yyyy-MM-dd HH:mm:ss”);//定义一个时间的格式 String time=”2000-01-01 00:00:00”; //自己定义一个时间点 long time
2016-06-12 17:45:37
378
空空如也
编译drill时候遇到的问题
2016-06-13
TA创建的收藏夹 TA关注的收藏夹
TA关注的人