- 博客(8)
- 收藏
- 关注
原创 大数据RDD编程
RDD编程(4)–文件系统数据读写一、本地文件系统的数据读写saveAsTextFile后面接的是一个目录把目录名称放进textFile中就会加载该目录下的所有内容二、分布式文件系统HDFS的数据读写
2021-12-22 23:11:46 1145
原创 大数据RDD编程
RDD编程(3)——持久化持久化简述第二次行动操作会重复上面的所有操作,RDD会多次重复生成进行计算,这样代价较大。如果能够把第一次的结果缓存起来就好了,那为了解决这个问题,我们就会用到下面我们讲的持久化。参数类型(1).presist(MEMORY_ONLY)方法把RDD作为反序列化的对象存在JVM中,如果内存不足就按照先进先出的原则把内存里的内容替换掉(2).presist(MEMORY_AND_DISK)方法同时保存在内存和磁盘,优先保存内存,内存保存不下的会保存到磁盘上
2021-12-21 00:03:38 1189
原创 大数据RDD编程
RDD编程(1)——RDD创建:方法:通过并行集合(数组),从文件系统中加载数据1. 从文件系统中加载数据本地文件加载: file:///从本地文件word.text中把它从磁盘中加载进来,加载 到内存,生成一个RDD-每一个RDD元素是字符串类型(文本文件每一行都是一个字符串)三种表达方式等价,都是放在当前用户主目录下2.通过并行集合(数组)创建RDDSparkContext对象中的Parllelize方法...
2021-12-20 00:02:39 435
原创 Web应用前端笔记
Web应用前端开发(一)(观看b站黑马程序员pink老师视频时做的笔记)超链接标签在HTML标签中,a标签用于定义超链接,作用是从一个页面链接到另一个页面。1.链接的语法格式<a href="跳转目标" target="目标弹出窗口的方式">文本或图像</a>(target打开方式:_sell为默认值,当前窗口打开,_blank为在新窗口中打开方式)2.链接分类(1)外部标签(http://),例如<a href="http://www.baidu,com"&
2021-04-10 23:49:46 172 1
原创 educoder上的练习
银行存款利率问题任务描述本关任务:编写一个简单Java程序,计算银行年存款的本息。相关知识为了完成本关任务,你需要掌握:1.Java基础编程,2.数据输入输出。要求:程序运行后要求用户输入存款本金、年利率和存款年限,最后程序计算并输出相应年限后存款的总额。计算公式为:提示:请检测用户输入的合法性。可以使用Math类来进行次方的运算:Math.pow(底数,指数)。输出格式:在方法中的输出格式:本金:100000存款年限:10利率:0.05利息:62889.46267774419
2020-10-12 16:33:49 833
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人