- 博客(52)
- 收藏
- 关注
原创 Spark学习总结
第1章 Spark 概述1.1 Spark是什么Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。主要用于数据计算,经常被认为是Hadoop框架的升级版。1.2 Spark 和Hadoop的缘分组成:Hadoop 是由Java语言编写的,部署在分布式服务器集群上,用于存储海量数据并运行分布式分析应用的开源框架;其重要组件有,HDFS 分布式文件系统、MapReduce 编程模型、Hbase 基于HDFS的分布式数据库:擅长实时随机读/写超大规模数据集。Spark是由Scala
2022-03-07 00:55:18
7889
原创 对Spark中一些基础概念的了解
1、Driver:运行应用程序的main函数,并创建SparkContext进程。初始化SparkContext是为了准备Spark应用程序的运行环境,在Spark中由SparkContext负责与集群进行通信,并进行资源的申请、任务的分配和监控等。当Worker节点中的Executor部分运行完毕后,Driver同时负责将SparkContext关闭。2、Executor:在Worker节点中,是Driver进程申请完资源后,被Spark应用所启动的一个进程,它可以运行task,也可以在内存或者磁盘中保
2022-02-13 17:24:34
694
原创 了解 Spark中的master、worker和Driver、Executor
master和worker是物理节点,是在不同环境部署模式下和资源相关的两大内容Driver和executor是进程,是在spark应用中和计算相关的两大内容1、master和worker节点master节点常驻master守护进程,负责管理worker节点,并且会从master节点提交应用。worker节点常驻worker守护进程,会与master节点进行通信,并且管理executor进程。在搭建spark集群时,就已经设置好了master节点和worker节点,一个集群中可以有多个master
2022-01-16 10:54:54
4008
1
原创 spark学习——scala基础篇
1、基础语法1.1 两种变量类型Val:不可变,在声明时就必须进行初始化,且初始化后就不能被再次赋值Var:可变,在声音是需要进行初始化,但后续还可以进行再次赋值在Scala中声明变量必须有这两者其一的定义,但类型不是必须的,因为Scala可以自己判断。1.2 控制台输入输出语句输入:scala.io.Stdln read输出:print()、println()、printf()1.3 读写文件写入文件:java.io.PrintWriter读取文件:Scala.io.Source
2021-10-13 23:51:04
2855
原创 eclipse导入web项目,在jsp页面出现 javax.servlet.jsp.JspException cannot be resolved to a type问题的解决方法
出错原因:错误可能是服务器自带的servlet库未导入解决方案:1.项目--属性--Targeted Runtimes,把原项目的tomcat去掉勾选,换成自己的,确定即可2. 右键项目-build path->选择configure build path...->选择 java build path->Add Library –> server Runtime -> Click Next->选择 Server runtime (我的是 Tomcat 7.
2021-01-10 15:26:15
452
1
原创 数字河
#include <stdio.h>#define N 1000int a[N],b[N],c[N];//1,3,9三条数字河int numN[100];//存入用于测试的数字int count=0;//记录输入测试数的个数void river(int a[N]);bool search(int num,int a[N]);void init();int main(){ int i; int t,sum; init(); for(i=0;i<count...
2020-10-10 19:24:25
233
原创 DB2 v11.1安装步骤
DB2 v11.1安装步骤Windows下安装DB2-Express-C一、IBM官网下载DB2-Express-C 最新的是11.1.2.2,下载地址https://www.ibm.com/developerworks/cn/downloads/im/udbexp/index.html下载解压后:二、安装DB2-Express-C1.运行setup程序(最好以管理员身份运行setup.exe)2.点击安装新产品3.默认下一步4.接受条款下一步5.选择典型
2020-09-26 17:40:47
3229
2
原创 LeetCode(C语言)26.删除排序数组中的重复项
给定一个排序数组,你需要在 原地 删除重复出现的元素,使得每个元素只出现一次,返回移除后数组的新长度。不要使用额外的数组空间,你必须在 原地 修改输入数组 并在使用 O(1) 额外空间的条件下完成。思路1:双指针i,j,用i对数组进行遍历,如果i和i+1指向的元素值不同,则将j向右移动一格,并将i+1的值赋给 j,以此保证j的指向轨迹是一个新的不重复的数组。int removeDuplicates(int* nums, int numsSize){ int i,j; i
2020-09-15 09:58:43
174
原创 Python——基础语法
1.搭建环境由于已经安装好了软件,所以想偷个懒。这里就先不详细写如何安装的过程了,直接上两个较好的相关文章链接:如何下载安装Python致Python初学者2.Python基础2.1 变量类型Python有五个标准数据类型:数字(Numbers)、字符串(String)、列表(List)、元组(Tuple)、字典(Dictionary)Python支持四种不同的数字类型:int(有符号整型)、long(长整型)、float(浮点型)、complex(复数)字符串:
2020-07-21 14:55:06
208
原创 Maven的安装、配置以及在Eclipse中安装maven插件
一、需要准备的东西 (原文链接)1.首先确保安装了JDK,并且成功配置了JDK的环境变量。2. 已安装Eclipse3. Maven程序包二、maven下载与安装1. 前往https://maven.apache.org/download.cgi下载最新版的Maven程序:2. 将文件解压到D:\Program Files\Apache\maven目录下:3....
2019-06-02 15:02:45
36564
6
原创 Linux学习笔记(8)——gcc的使用与开发(2)
gcc的使用(2)基本使用格式$ gcc [选项] <文件名>1.常用选项及含义 gcc常用选项 选项 含义 -o file 将经过gcc处理过的结果存放为文件file,这个结果文件可能是预处理文件、汇编文件、目标文件或最终的可执行文件。假设被处理的源文件为source.suf...
2019-05-14 08:54:30
868
原创 Linux学习笔记(7)——gcc使用与开发(1)
一、GCC与gcc介绍1.GCC是由GNU之父Stallman所开发的Linux下的编辑器,GCC最初的全名是CNU project C and C++,之后随着GCC支持的语言越来越多,其全称变为 CNU Compiler Collection即GNU编译器集合。目前可以编译的语言包括:C,C++,Objective-C,Fortran,Java,and Ada2.gcc是GCC编译器集...
2019-05-07 10:22:37
316
原创 Linux学习笔记(6)——shell(3)
一、Shell流程控制1.if else(1)if语句语法格式:if conditionthen command1 command2 ……. commandNfi(2)if else 语法格式:if conditionthen command1 command2 ……. commandNelse...
2019-04-30 09:57:52
175
原创 Linux学习笔记(5)——shell编程(2)
1.shell参数传递用$n来获取参数,n代表第几个参数。实例:向脚本传递3个参数,并分别输出,其中$0 是执行的文件名。执行脚本,输出结果:2.shell基本运算符Shell支持的运算符:算数运算符、关系运算符、布尔运算符、字符串运算符、文件测试运算符expr是一款表达式计算工具,使用它能完成表达式的求值操作。例:两数相加(注意:使用的数反引号``,不是单...
2019-04-23 09:56:30
213
原创 Linux学习笔记(4)——Shell编程(1)
Shell是一个用C语言编写的程序它是用户使用Linux的桥梁。Shell既是一种命令语言,又是程序设计语言。Shell是指一种应用程序,这个应用程序提供了一个界面,用户通过这个界面访问操作系统内核的服务。Windows Explorer是一个典型的图形界面Shell。1.Shell脚本Shell脚本(shell script)是一种为shell编写的脚本程序。业界所说的shell通常都是...
2019-04-16 09:55:39
238
原创 程序设计与算法学习(1)——枚举
枚举:即一个一个的试,直到找到符合条件的答案为止。1.生理周期人有体力、情商、智商的高峰日子,它们分别每隔 23天、28天和33天出现一次。对于每个人,我们想 知道何时三个高峰落在同一天。给定三个高峰出现 的日子p,e和i(不一定是第一次高峰出现的日子), 再给定另一个指定的日子d,你的任务是输出日子d 之后,下一次三个高峰落在同一天的日子(用距离d 的天数表示)。例如:给定日子为10,下...
2019-04-13 08:58:21
236
原创 Linux 学习笔记 (3) vi/vim
Linux vi/vimVim具有程序编辑的能力,可以主动的以字体颜色辨别语法的正确性,方便程序设计。1.什么是vim?Vim是从vi发展出来的一个文本编辑器。代码补完、编译及错误跳转等方便编程的功能特别丰富,在程序员中被广泛使用。简单的来说,vi是老式的字处理器,不过功能很齐全。Vim可以说是程序开发者的一项很好用的工具。Vim官网(http://www.vim.org)也说vi...
2019-04-11 15:36:23
155
原创 Linux学习笔记(2)
一、Linux文件属性Linux系统是一种典型的多用户系统,不同的用户处于不同的地位,拥有不同的权限。为了保护系统的安全性,Linux系统对不同的用户访问同一文件的权限做了不同的规定。在Linux中我们可以使用ll或ls -l命令来显示一个文件的属性及文件所属的用户和组。如:在Linux中第一个字符代表这个文件时目录、文件或是链接文件等。如在以上实例中,最后一个 user文...
2019-04-09 09:44:34
121
原创 第五届蓝桥杯省赛 (C语言B组) 部分题目代码实现
李白打酒啤酒和饮料切面条奇怪的分式蓝桥杯第十届省赛结束不久。最近在整理文件的时候,看见准备省赛的时候写过的一些题。都是一些比较基础的题,但是还是想整理一下放在CSDN上,说不定还能让下一届参加竞赛的人。用来参考参考。个人经验,如果准备时间不是很充分,还想拿个省奖的。可以直接上手真题,先把每一届真题的6道题写一下。后面的大题用的时间会稍多一些。可以留在后面写。准备了一个月左右吧,期间...
2019-04-02 09:53:24
265
原创 蓝桥杯:奇怪的分式
标题:奇怪的分式上小学的时候,小明经常自己发明新算法。一次,老师出的题目是:1/4 乘以 8/5小明居然把分子拼接在一起,分母拼接在一起,答案是:18/45 (参见图1.png)老师刚想批评他,转念一想,这个答案凑巧也对啊,真是见鬼!对于分子、分母都是 1~9 中的一位数的情况,还有哪些算式可以这样计算呢?请写出所有不同算式的个数(包括题中举例的)。显然,交换分子分母后,例如:4/...
2019-04-02 09:38:40
181
原创 蓝桥杯:切面条
标题:切面条一根高筋拉面,中间切一刀,可以得到2根面条。如果先对折1次,中间切一刀,可以得到3根面条。如果连续对折2次,中间切一刀,可以得到5根面条。那么,连续对折10次,中间切一刀,会得到多少面条呢?答案是个整数,请通过浏览器提交答案。不要填写任何多余的内容。本题主要是找到前几项的规律,然后编写程序。代码#include <stdio.h>#include...
2019-04-02 09:35:00
217
原创 蓝桥杯:啤酒和饮料
标题:啤酒和饮料啤酒每罐2.3元,饮料每罐1.9元。小明买了若干啤酒和饮料,一共花了82.3元。我们还知道他买的啤酒比饮料的数量少,请你计算他买了几罐啤酒。简单枚举代码:#include <stdio.h>int main(){ int a,b; double sum; for(a=1;a<50;a++) { for(b=1;b<50;b+...
2019-04-02 09:31:34
305
1
原创 蓝桥杯:李白打酒
标题:李白打酒话说大诗人李白,一生好饮。幸好他从不开车。一天,他提着酒壶,从家里出来,酒壶中有酒2斗。他边走边唱:无事街上走,提壶去打酒。逢店加一倍,遇花喝一斗。这一路上,他一共遇到店5次,遇到花10次,已知最后一次遇到的是花,他正好把酒喝光了。请你计算李白遇到店和花的次序,可以把遇店记为a,遇花记为b。则:babaabbabbabbbb 就是合理的次序。像这样的答案一共有多少呢?请...
2019-04-02 09:28:20
203
原创 Linux学习笔记(1)
一、Linux简介Linux是一套免费使用和自由传播的类Unix操作系统,是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想,是一个性能稳定的多用户网络操作系统。Linux操作系统诞生于1991 年10 月5 日(这是第一次正式向外公布时...
2019-04-02 09:20:49
203
原创 蓝桥杯17年省赛 日期问题
标题:日期问题小明正在整理一批历史文献。这些历史文献中出现了很多日期。小明知道这些日期都在1960年1月1日至2059年12月31日。令小明头疼的是,这些日期采用的格式非常不统一,有采用年/月/日的,有采用月/日/年的,还有采用日/月/年的。更加麻烦的是,年份也都省略了前两位,使得文献上的一个日期,存在很多可能的日期与其对应。 比如02/03/04,可能是2002年03月04日、20...
2019-03-22 21:39:55
461
原创 二分查找
注意:二分查找的前提是:有序序列! 所以记得要先将序列排序,再进行二分查找(一般默认为在升序序列进行二分查找)#include <iostream>using namespace std;//二分查找 在有序数组中查找x,默认为升序! int Binary_search(int* a,int n,int x){ int left=0; int right=n-1;...
2019-03-20 09:22:29
126
原创 蓝桥杯练习系统:0 1字串
问题描述对于长度为5位的一个01串,每一位都可能是0或1,一共有32种可能。它们的前几个是:0000000001000100001100100请按从小到大的顺序输出这32种01串。输入格式本试题没有输入。输出格式输出32行,按从小到大的顺序每行一个长度为5的01串。样例输出00000000010001000011<以下部分省略>...
2019-03-11 20:12:13
93
原创 蓝桥杯算法训练:审美课
问题描述 《审美的历程》课上有n位学生,帅老师展示了m幅画,其中有些是梵高的作品,另外的都出自五岁小朋友之手。老师请同学们分辨哪些画的作者是梵高,但是老师自己并没有答案,因为这些画看上去都像是小朋友画的……老师只想知道,有多少对同学给出的答案完全相反,这样他就可以用这个数据去揭穿披着皇帝新衣的抽象艺术了(支持帅老师^_^)。 答案完全相反是指对每一幅画的判断都相反。输入格式 第...
2019-03-11 20:10:00
169
原创 蓝桥杯练习系统:字母图形
问题描述利用字母可以组成一些美丽的图形,下面给出了一个例子:ABCDEFGBABCDEFCBABCDEDCBABCDEDCBABC这是一个5行7列的图形,请找出这个图形的规律,并输出一个n行m列的图形。输入格式输入一行,包含两个整数n和m,分别表示你要输出的图形的行数的列数。输出格式输出n行,每个m个字符,为你的图形。样例输入5 7样例输出...
2019-03-09 22:32:10
2300
原创 蓝桥杯练习系统:特殊的数字 水仙花数
问题描述 153是一个非常特殊的数,它等于它的每位数字的立方和,即153=1*1*1+5*5*5+3*3*3。编程求所有满足这种条件的三位十进制数。输出格式 按从小到大的顺序输出满足条件的三位十进制数,每个数占一行。(其实也就是三位数的水仙花数!)#include <stdio.h>int main(){ int i; int a,b,c; for(...
2019-03-06 11:42:15
183
原创 蓝桥杯系统练习:回文数、特殊回文数
1.回文数问题描述 1221是一个非常特殊的数,它从左边读和从右边读是一样的,编程求所有这样的四位十进制数。输出格式 按从小到大的顺序输出满足条件的四位十进制数。#include <stdio.h>int main(){ int i,y,k; for(i=1000;i<10000;i++) { k=i; y=0; while(k&g...
2019-03-06 11:31:53
427
原创 蓝桥杯练习系统:十进制转十六进制
问题描述 十六进制数是在程序设计时经常要使用到的一种整数的表示方式。它有0,1,2,3,4,5,6,7,8,9,A,B,C,D,E,F共16个符号,分别表示 十进制数的0至15。十六进制的计数方法是满16进1,所以十进制数16在十六进制中是10,而十进制的17在十六进制中是11,以此类推,十进制的30在十六进制中是1E。 给出一个非负整数,将它表示成十六进制的形式。输入格式 ...
2019-03-04 12:45:08
227
原创 蓝桥杯练习系统:十六进制转换为十进制
问题描述 从键盘输入一个不超过8位的正的十六进制数字符串,将它转换为正的十进制数后输出。 注:十六进制数中的10~15分别用大写的英文字母A、B、C、D、E、F表示。样例输入FFFF样例输出65535关键字:进制转换、字符处理、判断#include <iostream>#include <string>#include <mat...
2019-03-04 12:44:45
152
原创 蓝桥杯系统练习:十六进制转八进制
问题描述 给定n个十六进制正整数,输出它们对应的八进制数。输入格式 输入的第一行为一个正整数n (1<=n<=10)。 接下来n行,每行一个由0~9、大写字母A~F组成的字符串,表示要转换的十六进制正整数,每个十六进制数长度不超过100000。输出格式 输出n行,每行为输入对应的八进制正整数。 【注意】 输入的十六进制数不会有前导0,比如012A。 输出的八...
2019-03-02 11:32:27
211
原创 STL简单了解
STL(Standard Template Library,标准模板库):•是一种类型参数(type parameterized)的程序设计方法,基于模板的标准类库。其实质是一个高效的,可重用的C++常用的基本数据结构和基本算法的集合。STL不是面向对象的技术,不强调类的层次结构,而是以效率和实用为目标,STL中的所有容器都是类模板•组成–(1)容器(container):是能够保...
2019-02-18 12:03:39
337
原创 C++ 运算符重载实现复数的四则运算
需求:定义复数类 real+imag*i;-->r+m*i; 1.实现:+、-、*、/ 加法:(r1+m1*i)+(r2+m2*i)=(r1+r2)+(m1+m2)*i; 减法:(r1+m1*i)-(r2+m2*i)=(r1-r2)-(m1-m2)*i; 乘法:(r1+m1*i)*(r2+m2*i)=(r1*r2-m1...
2019-01-02 00:13:43
2843
1
原创 C++ 动态创建二维数组空间、实现矩阵的加、减、乘
题目描述:1.用c++动态创建二维数组 2.实现矩阵的加减乘运算(除法运算规则比较复杂此处就不做具体实现了!)知识运用:c++基础语法、动态创建数组、撤销数组空间。 矩阵的四则运算(此处只是基本的算法实现不做过多解释,具体的运算规则自行百度理解)函数声明:1. 动态创建二维数组(矩阵)int** createMat(int row,int col);2.撤销二维数组空间void...
2018-12-19 00:04:32
4663
2
原创 C语言:将学生信息存储到文件中
描述:从键盘输入两个学生的有关数据,然后把它们转存到磁盘文件上去。基础知识点:1.定义结构体变量,存储复杂一点的变量(对象) 2.用到了C语言中对文件的处理 3.排序文件处理基本步骤:1.定义指针变量,打开文件FILE *fp;fopen(文件名,操作方式);例如:// fp是一个文件指针,sText.txt是需要处理的文本文件,w是对文件的读操作fp=fopen...
2018-12-15 19:23:13
31347
7
原创 输入一句话,找出其中最长的单词,并输出
理解题意:1.先输入一句话。2.在这句话中找到最长的那个单词并输出显示。这个题是我们老师上课的时候给我们留的作业。因为刚好学过了二维数组所以果断采用二维数组来解题。个人觉得,这个逻辑思路其实相较一维数组来解会更简单一些。我的思路是:要找最长单词,就要获取每个单词的长度然后进行比较,直到找到最大的那一个。详解:将每一个单词当做一个一维数组,而这个句子就成了一个二维数组。因此要找到最长的单...
2018-12-10 19:57:55
15635
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人