- 博客(9)
- 资源 (11)
- 问答 (1)
- 收藏
- 关注
RSS订阅转载 centos linux防火墙的关闭
一、关闭防火墙1、重启后永久性生效：开启：chkconfig iptables on关闭：chkconfig iptables off2、即时生效，重启后失效：开启：service iptables start关闭：service iptables stop在开启了防火墙时，做如下设置，开启相关端口，修改 /etc/sysconfig
2017-03-26 21:46:42
461
原创 centos6.3 桌面模式与命令行模式的自定义
1、桌面模式 编辑/etc/inittab文件，修改启级别为52、命令行模式 编辑/etc/inittab文件，修改启级别为3
2017-03-26 19:30:52
360
翻译 Scala reduceLeft
scala> val a = Array(20, 12, 6, 15, 2, 9)a: Array[Int] = Array(20, 12, 6, 15, 2, 9)1、a simple function:scala> a.reduceLeft(_ + _)res0: Int = 64scala> a.reduceLeft(_ * _)res1: Int = 388800sc
2017-03-22 20:53:44
833
原创 RDD随机元素
sample : 采样采样变换根据给定的随机种子，从RDD中随机地按指定比例选一部分记录，创建新的RDD。采样变换 在机器学习中可用于进行交叉验证。def sample(withReplacement: Boolean, fraction: Double, seed: Long = Utils.random.nextLong): RDD[T]withReplacemen
2017-03-14 21:58:33
1054
原创 spark的RDD操作对key值操作的探索
Spark中有许多中创建键值对RDD的方式，其中包括读取时直接返回键值对RDD普通RDD转换成键值对RDD1、在Scala中，可通过Map函数生成二元组val listRDD = sc.parallelize(List(1,2,3,4,5))val result = listRDD.map(x => (x,1))result.foreach(println)2、
2017-03-14 21:24:11
5965
原创 RDD怎么找下标，怎么创建数组？
1、RDD是Spark中的抽象数据结构类型，任何数据在Spark中都被表示为RDD。2、从编程的角度来看，RDD可以简单看成是一个数组。和普通数组的区别是，RDD中的数据是分区存储的，这样不同分区的数据就可以分布在不同的机器上，同时可以被并行处理。3、因此，Spark应用程序所做的无非是把需要处理的数据转换为RDD，然后对RDD进行一系列的变换和操作从而得到结果。所以接下来的问题就是
2017-03-14 21:19:51
2921
原创 hadoop之二维数据之kmeans深入
O、一维数据的kmeans，很简单但二维数据+分区并行呢？1、怎么初始化中心点？2、怎么计算中心距离，跟一位一样吗？毕竟只是部分数据在计算。一、先讲讲一维数据的kmeans吧：txt string[]初始化中心点，随机选取下标,string0[] txt0第k次迭代中，计算样本到c个中心的距离，将样本归到其所应在的类txt txt0在分
2017-03-14 19:58:04
568
翻译 spark式workcount虾皮
val conf = new SparkConf ().setMaster ("local").setAppName ("app_1") val sc = new SparkContext (conf) val people = List(("男", "李四"), ("男", "张三"), ("女", "韩梅梅"), ("女", "李思思"), ("男", "马云"))
2017-03-14 18:58:30
526
转载 rdd数据类型的探索
RDD算子分类，大致可以分为两类，即：1. Transformation：转换算子，这类转换并不触发提交作业，完成作业中间过程处理。2. Action：行动算子，这类算子会触发SparkContext提交Job作业。 一：Transformation：转换算子1. map： 将原来RDD的每个数据项通过map中的用户自定义函数f映射转变为一个新的元素。源码中ma
2017-03-14 17:17:23
3124
U8125 SchemaDoc.chm
2020-04-15
06-助力AI生态布局，昇腾云服务器案例解读.pdf
2019-11-14
数据结构与算法分析pdf
2017-06-04
TA创建的收藏夹 TA关注的收藏夹
TA关注的人