- 博客(10)
- 收藏
- 关注
RSS订阅原创 scala_三次排序
今天看了下二次排序的算法，虽然还是不懂源码内部是咋处理的，但至少会把二次排序改成三次，甚至更高纬度排序了，先会用，再慢慢研究吧！下面是scala版本的程序。1、先写keyclass thirdOrderKey (val first: Int, val second: Int, val third: Int) extends Ordered[thirdOrderKey] with Serializab
2017-05-13 17:57:49
486
原创 rdd行动操作
1）reduce reduce(func)是对数据集的所有元素执行聚集(func)函数，该函数必须是可交换的。val rdd1 = sc.parallelize(1 to 9, 3) val rdd2 = rdd1.reduce(_ + _) rdd2: Int = 452）collect collect是将数据集中的所有元素以一个array的形式返回。rdd1.collect() res8:
2017-05-11 09:37:19
537
原创 rdd常见转换操作
1）mapmap是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD，RDD之间的元素是一对一关系val rdd1=sc.parallelize(1 to 9,3) val rdd2=rdd1.map(x=>x*2)rdd2中则存放（2, 4, 6, 8, 10, 12, 14, 16, 18）2）filterFilter是对RDD元素进行过滤，返回一个新的数据集val rdd1=sc.p
2017-05-08 09:04:30
2534
原创 RDD创建
1、并行化处理数组val data = Array(1, 2,3, 4, 5, 6, 7, 8, 9) val distData = sc.parallelize(data, 3) //3为要开启的线程数val data=Array(Tuple2("xiaoming",20),Tuple2("xiaoli",23)) val distData = sc.parallelize(data, 3
2017-05-08 08:54:39
294
原创 SSH免密登录
1、生成公钥和私钥ssh-keygen -t rsa 生成的公钥和私钥 放在/home/min01/.ssh里面(当前用的哪个用户，就放在哪个用户的目录里)，id_rsa为私钥，id_rsa.pub为公钥 2、在第二个主机目录/home/mini02/.ssh中新建一个文件touch authorized_keys3、将第一个主机中id_rsa.pub内容复制到touch authorized_
2017-04-18 20:24:21
387
原创 VMware克隆虚拟机
一、关闭要克隆的机器二、在要克隆的机器上点击右键“管理”—-“克隆”—-“下一步”—-“虚拟机中的当前状态”—-“创建完整克隆”—-“下一步”三、修改配置1.修改IP将其中HWADDR与UUID删掉，BOOTPROTO=static,修改IP地址2.修改网卡vi /etc/udev/rules.d/70-persistent-net.rules将eh0的 PCI device删除，将eh1的 PCI
2017-04-17 21:58:50
448
原创 Zookeeper关于“Error contacting service. It is probably not running”
今天安装Zookeeper，zkServer.sh start,显示正常启动，jps也有进程QuorumPeerMain，可就是zkServer.sh status显示出错：Error contacting service. It is probably not running.查看百度，可能出现一下问题：1.zoo.cfg配置文件中指定目录却没有创建！ 创建相应目录即可。 2.Myid内容与：se
2017-04-17 21:50:33
700
原创 eclipse关于“Failed to load the JNI shared library ”
今天打开eclipse，然后不像往常一样，竞然打不开了，出现下面这个东西！ 然后我想了想，哦，昨天装
2017-04-14 16:09:43
1055
原创 关于YUM
一、配置yum本地源1、选择VMware的CD挂上centos的iso文件，你会看到 /dev/中的cdrom->sro2、创建挂载点kmdir /mnt/cdrom3、把物理光区挂载到/mnt/cdrommount -t iso9660 -o ro /dev/cdrom /mnt/cdrom4、由于系统每次重启，都需要重新挂载，为了方便，可进行如下设置，无需反复挂载vi /etc/fstab
2017-04-14 04:25:06
284
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人