- 博客(10)
- 收藏
- 关注
RSS订阅原创 scala并行集合
将普通集合转化成为并行集合：arr（非并行） arr.par（并行集合）1现在有一个集合，对它的每个元素进行处理，比如:scala> (1 to 5).foreach(println(_))12345scala> (1 to 5).par.foreach(println(_))314252以下代码获取到参与并行计算的线程：scala> (0
2017-01-19 15:47:30
2355
原创 scala函数与方法
scala的方法和函数方法： def m(x:Int,y:Int):Int={ x+y }函数： （1）函数模式：（参数类型和个数）=>函数实现 （2）匿名函数（放在方法里才有意义）（x:Int,y:Int）=>x+y （3）那就给他
2017-01-19 15:36:03
317
原创 scala起步
1目标：1.scala编写spark应用2.编写建议spark通信框架3.为读spark内核源码做准备 scala借助大数据的东风慢慢火起来，目前不少框架也是scala写的，spark，kafka。scala的表达能力强，任意调用java接口，java能干的scala都能干，并且可以函数式编程。2 什么是scala？scala是一种多范式的编程语言，其设计的初衷是
2017-01-19 15:21:44
228
原创 实习——从数据库对某一机组table选50测点另存table
工具：NaiveCatfrom：zt语句：CREATE TABLE WQX_F31 AS SELECT * FROM EMS."HJF2" WHERE ID IN (82250005,82250041,82250042)
2017-01-09 17:13:12
234
原创 spark滑动分窗问题
在使用spark计算时，有时候要对dataframe分窗。但是。。。。。并不是所有的情况都适合分窗。 1.不适合分窗：结果RDD（dataFrame），这个往回倒不好倒啊：事实证明，每个小窗结果为dataframe这样的情况不适合分窗！！ 2.适合分窗：均值滤波和ARIMA这样的，每个小窗出一个数或者一个数组的才方便使用分窗 分窗真的可以并行计算么？ 目前实现的是A
2017-01-05 16:01:23
693
原创 决策树
看了网上的一些资料和例子1.决策树的基本流程2.决策树的属性划分选择以下几种指标与属性分支的纯度有关ID3：信息增益C4.5：信息增益率CART：基尼指数3.剪枝处理 是决策树对付“过拟合”的主要手段； 先剪枝：决策树生成过程中，对每个节点划分前先进行估计，看当前划分的节点能否带来泛化性能提升。 后剪枝：先生成一颗完整的树，自底向上对飞叶节点进行考
2017-01-04 10:20:17
176
原创 spark—submit
直接在命令行（不启动spark-shell）输入指令:spark-submit --master spark://master --class main1 /home/cwy/IdeaProjects/nproj/SelfRegression/out/artifacts/Sel
2016-12-28 11:07:56
455
原创 scala读文件
import java.io.{File, PrintWriter}import scala.io.Source/** * Created by cwy on 16-11-9. */object localFile { def subDir(dir:File):Iterator[File] ={ val dirs = dir.listFiles().filter
2016-11-09 22:53:11
443
转载 sqoop导关系型数据库到hadoop hive
http://www.zihou.me/html/2014/01/28/9114.html这篇文章查看
2016-10-23 12:24:25
190
原创 JAVA数据库编程—mysql JDBC
一、知识点名词：数据库，关系型把数据库，SQL,JDBCJDBC的功能和特点：JDBC（Java Data Base Connectivity,java数据库连接）是一种用于执行SQL语句的Java API，可以为多种关系数据库提供统一访问，它由一组用Java语言编写的类和接口组成。JDBC提供了一种基准，据此可以构建更高级的工具和接口，使数据库开发人员能够编写数据库应用程序j
2016-10-23 10:46:40
332
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人