- 博客(22)
- 收藏
- 关注
RSS订阅原创 利用SSM框架实现用户登录功能
执行命令：查看创建的数据库 2、创建用户表执行SQL命令生成用户表 打开Maven窗口，单击刷新按钮，下载依赖 依赖下载成功 在目录里创建 单击工具栏上【Project Structure】按钮单击【SSMLogin】左上角的+ ++按钮 目录里子目录里放的是用户编写的源程序编译之后的字节码文件，但是项目依赖的包需要创建一个目录 单击菜单项，把选中的包添加到左边的目录下载，解压到C盘根目录 进入可执行目录 配置Tomcat环境变量 在命令窗口执行：，启动Tomcat服务（当然可以在资源管Path
2022-06-30 16:57:40
473
原创 Spark RDD交互式案例统计每日新增长用户
将user.txt上传到HDFS/input目录下 执行spark-shell命令 （二）倒排，互换RDD中元组的元素顺序
2022-06-23 17:24:11
346
原创 Spark SQL案例： 分组排行榜
预备工作：启动集群的HDFS与Spark将成绩文件 - grades.txt上传到HDFS上/input目录 将目录改成目录
2022-06-23 16:57:48
55
原创 Spring Boot 框架
利用创建项目 配置项目基本信息 添加相关依赖设置项目名称与保存位置 单击【Finish】按钮，完成项目初始化 3.设置exclude属性值，关闭特定的自动配置启动项目访问http://localhost:8080 在里创建，跟路由函数里的逻辑视图名相对应 1.创建标语文件 2.生成艺术字符 3.更新标语文件 4.启动项目，查看结果1.修改服务器的端口号2.启动应用，查看控制台输出信息 4.采用yaml格式的应用属性文件将重命名配置属性的写法有点不同，是一种层次结构 1.创建用户实体类...
2022-06-23 16:54:06
95
原创 Spark RDD案例：词频统计
一、提出任务单词计数是学习分布式计算的入门程序，有很多种实现方式，例如MapReduce；使用Spark提供的RDD算子可以更加轻松地实现单词计数。在IntelliJ IDEA中新建Maven管理的Spark项目，并在该项目中使用Scala语言编写Spark的WordCount程序，最后将项目打包提交到Spark集群（Standalone模式）中运行。预备工作：启动集群的HDFS与SparkHDFS上的单词文件 - words.txt设置项目信息（项目名称、保存位置、组编号以及项目编号） 将Java
2022-06-23 16:44:36
114
原创 SparkRDD 案例：计算总成绩
一、提出任务成绩表，包含四个字段（姓名，语文，数学，英语），只有三条记录二、完成任务（一）将成绩文件上传到HDFS执行命令： hdfs dfs -put scores.txt /input查看成绩文件内容（二）创建Maven项目创建Maven项目 - CalculateScoreSum将JAVA 目录改成Scala目录（三）添加依赖和构建插件在 pom.xml 文件里添加依赖和构建插件...
2022-06-23 16:37:28
427
原创 了解spark
1、Apache Spark™ is a multi-language engine for executing data engineering, data science, and machine learning on single-node machines or clusters。2、Apache Spark是一个快速通用的集群计算系统，是一种与Hadoop相似的开源集群计算环境，但是Spark在某些工作负载方面表现得更加优越。它提供了Java、Scala、Python和R的高级API，以及一个
2022-06-17 20:32:21
332
原创 RDD的依赖与Stage划分
1、在Spark中，对RDD的每一次转化操作都会生成一个新的RDD，由于RDD的，新的RDD会依赖原有RDD，因此RDD之间存在类似流水线的前后依赖关系。这种依赖关系分为两种：窄依赖和宽依赖。2、窄依赖是指父RDD的一个分区最多被子RDD的一个分区所用。也就是说，父RDD的分区与子RDD的分区的对应关系为一对一或多对一。例如，map()、filter()、union()、join()等操作都会产生窄依。3、对于窄依赖的RDD，根据父RDD的分区进行流水线操作，即可计算出子RDD的分区数据，整个操作可以在集群
2022-06-17 20:27:18
1010
原创 创建RDD
一准备本地系统文件1、在目录里创建单词用空格分隔3、执行命令： 将上传到HDFS的目录里 5、查看文件内容 二启动Spark Shell1、录执行命令： 启动Spark Shell3、查看Spark Shell的WebUI界面 三、创建RDD1、执行命令： 执行命令：，收集rdd数据进行显示 3、执行命令：，收集rdd数据进行显示 4、执行命令：执行命令：，查看RDD中的内容，保存到常量执行命令：（利用foreach遍历算子）7、执行命令： 8、执行命令：9、执行命令： 执行命令：，查看RDD中的内容
2022-06-17 20:23:07
342
原创 Scala运算符
一运算符即方法1、运算符与方法调用是等价的，表示运算符：、、、……二方法即运算符1、 与 是等价的三多参方法1、 与是等价的。四Scala与Java运算符比较1、Scala和Java运算符基本相同，不同之处在于比较运算符2、Java中，如果是基本数据类型，==与!= 比较的是值；如果是复杂数据类型，比较的是对象的地址，如果不是想比较地址而是想比较真正的内容，则需要使用 equals 方法。3、Scala中，如果是基本数据类型，==与!= 比较的是值；如果是复杂数据类型，会隐含地调用equals进行比较，这
2022-06-17 20:13:00
163
原创 Scala变量与数据类型
（一）简单说明1、Scala中变量的声明使用关键字val和var。val类似Java中的final变量，也就是常量，一旦初始化将不可修改；var类似Java中的非final变量，可以被多次赋值，多次修改。2、val - value - 值。3、var - variable - 变量。（二）利用val声明变量。1、声明方式2、val [: 数据类型] = 变量值。3、定义变量比较灵活，可以指定数据类型，也可以不指定数据类型，由Scala根据赋的值自行判断数据类型。4、在声明变量上，S...
2022-06-17 20:01:08
965
原创 搭建Spark HA集群
一安装配置ZooKeeper1、执行命令，将zookeeper安装包解压2、执行命令： 3、存盘退出，执行命令：，让环境配置生效4、进入zookeeper安装目录，创建子目录 5、进入zookeeper配置目录conf，复制zoo_sample.cfg到zoo.cfg6、执行命令：，修改zoo.cfg文件，配置数据目录和服务器选举id 7、进入zookeeper数据目录，创建myid文件，内容为1 二在虚拟机slave1上安装配置ZooKeeper1、执行命令： 执行命令： 切换到虚拟机slave1，执
2022-06-17 19:49:15
326
原创 搭建Spark On YARN集群
一修改Spark环境配置文件1、使用此模式需要修改Spark配置文件 2、存盘退出后，执行命令：，让配置生效二提交Spark应用到集群运行 1、执行命令：2、 执行命令：三运行Spark应用程序 1、查看Spark应用程序...
2022-06-17 19:26:03
81
原创 搭建Spark Standalone模式的集群
一 利用SecureCRT登录三台虚拟机对master slave1 slave2执行命令：vi /etc/resolv.conf，修改/etc/resolv.conf文件并添加两个域名服务器（右击对话框选择chat windows,在次点击send chat all sessions可以在对话框内输入的内容同时写到多个虚拟机上面）执行命令：yum -y install vim 安装vim测试maser slave1 slave2能否链接外网查看master sl..
2022-03-04 18:49:30
179
1
原创 在私有云上配置虚拟机
更多详细操作点击 在私有云上创建与配置虚拟机_howard2005的专栏-CSDN博客一 登录私有云二创建项目根据自己的要求创建一个网络创建一个路由（外部网络要选择校园网）点击网络拓扑添加端头链接校园网和私有网络选择网络点击自己创建的网络，在点击端口，并创建端口（按照图片在创建三个端口，名称与固定IP第四字节逐渐加1即可）创建实例（按照图片创建实例）在创建三个实例并选择所创建的端口三配置win7（点击win7，在点击控制台进行操作）选择
2022-03-01 20:35:05
502
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人