自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(25)
  • 收藏
  • 关注

原创 瑞吉外卖开发技术

本项目(瑞吉外卖)是专门为餐饮企业(餐厅、饭店)定制的一款软件产品,包括系统管理后台和移动端应用两部分。其中系统管理后台主要提供给餐饮企业内部员工使用,可以对餐厅的分类、菜品、套餐、订单、员工等进行管理维护。移动端应用主要提供给消费者使用,可以在线浏览菜品、添加购物车、下单等。

2022-12-12 14:39:31 3407

转载 Spring的框架

Spring Framework - Spring Framework目前(2022-5-27)Spring Framework版本是5.3.20(二)Spring框架优点Spring makes Java productive.Spring makes Java reactive.Spring makes Java cloud-ready.Spring makes Java simple.Spring makes Java modern.(三)为什么要选择Spring?Spring mak

2022-06-23 17:30:46 291

原创 Spark SQL案例:分组排行榜

(三)创建日志属性文件 添加log4j.properties日志文件(五)本地运行程序,查看结果 在控制台查看输出结果

2022-06-23 17:20:38 138

原创 SSM框架实现用户登录功能

查看创建好的数据库执行SQL命令生成用户表 下载,解压到盘根目录这时会弹出一个 Tomcat窗口 在浏览器里访问(或单击工具栏上的【Add Configuration…】,按照演示进行操作创建包,在包里创建类(九)创建用户映射器接口 创建包,在包里创建接口 (十)创建用户服务类 在包里创建子包,然后在子包里创建类(十一)创建用户控制器 在包里创建子包,然后在子包里创建类 (十二)创建用户映射器配置文件 在里创建子目录,然后在子目录里创

2022-06-23 17:17:19 507

原创 Spark SQL 计算平均分

预备工作:启动集群的HDFS与Spark 在HDFS上新建/score目录,在master虚拟机上新建一个file文件,在file创建三个成绩文件 查看文件内容 二,新建Maven项目,设置项目类型 创建日志属性文件 添加log4j.properties日志文件在net.cch.ssql包里创建CalclateAverageBySQL单例对象本地运行程序,查看结果在控制台查看输出结果...

2022-06-23 17:07:32 200

原创 Spark RDD 统计每日新增用户

现需要根据上述数据统计每日新增的用户数量,期望统计结果 (四)创建统计每日新增用户单例对象 net.cch.rdd包里创建StatisticsUsers单例对象 (五)本地运行程序,查看结果 结果如下...

2022-06-23 17:00:28 77

原创 Spark Rdd词数统计

插入数据创建maven项目在pom.xml中添加依赖创建日志文件:log4i.prrperties下载scala文件 创建对象 WordCount运行得到输出结果 查看master文件运行结果hdfs dfs -cat /wc_result/*

2022-06-23 16:54:12 107

原创 SparkRDD 案例

一、提出任务成绩表,包含四个字段(姓名,语文,数学,英语)二、完成任务(一)将成绩文件上传到HDFS执行命令: hdfs dfs -put scores.txt /input查看成绩文件内容 (二)创建Maven项目创建Maven项目 - CalculateScoreSum将JAVA 目录改成Scala目录 (三)添加依赖和构建插件在 pom.xml 文件里添加依赖和构建插件 注意项目使用的Scala SDK版本(四)创建日志属性文件在resources 文件里创建log4j.pro

2022-06-23 16:42:07 116

原创 ECharts 案例演示

利用Spring Boot查询班级表数据,前端利用ECharts绘制各班人数柱形图创建数据库 CREATE DATABASE 数据库名字;创建表结构 - t_class 创建Spring Boot项目 添加依赖 设置项目名称与保存位置 在包里创建子包,在子包里创建类在包里创建子包,在子包里创建接口在里创建目录,在里面创建在包里创建子包,在子包里创建类在包里创建子包,在子包里创建类在里创建目录,添加与 在文件里添加针对的起步依赖将更名为在目

2022-06-23 16:24:43 265

原创 启动spark集群一段时间后,无法在正常的关闭集群

原因: Spark的停止,是通过一些.pid文件来操作的。查看spark-daemon.sh文件,其中一行:$SPARK_PID_DIRThe pid files are strored. /tmp by default .$SPARK_PID_DIR 存放的pid文件中,就是要停止的进程的pid,$SPARK_PID_DIR默认是在系统的/tmp目录。系统每隔一段时间就会清除/tmp目录下的内容。到/tmp下查看,如果没有Spark相关.pid文件,这就是导致Spark集群无法停止的原因。解决方法在

2022-06-23 15:02:25 136

原创 IDEA安装Scala插件

Scala for Eclipse IDE为纯Scala和混合Scala与Java应用程序的开发提供了高级编辑功能,并且有非常好用的Scala调试器、语义突出显示、更可靠的JUnit测试查找器等。Scala for Eclipse IDE的安装有两种方式:一种是在Eclipse中单击Help菜单,然后选择Install new Software…在线安装Scala插件;另一种是直接下载已经集成好Scala IDE的Eclipse。现在无法访问官网(http://scala-ide.org/),Scala

2022-06-21 19:49:27 1369

原创 利用val声明变量

1、声明方式val [: 数据类型] = 变量值定义变量比较灵活,可以指定数据类型,也可以不指定数据类型,由Scala根据赋的值自行判断数据类型在声明变量上,Scala兼具Java和Python的特点。Java是静态语言,声明变量必须指定数据类型,Python是动态语言,声明变量不需要指定数据类型。声明一个字符串变量,其实定义的是一个常量由于声明的变量是不可修改的,若对声明的变量进行修改,则会报错因此,如果希望变量可以被修改(can be mutated),就需要使用声明。声明一个字符串变...

2022-06-21 19:31:40 1567

原创 Scala在Windows上安装

单击【scala-2.11.12.msi】超链接,将scala安装程序下载到本地点击next跟随向导进行安装启动命令行窗口,执行命令,若能正确输出当前Scala版本信息,则说明安装成功 执行命令: export SCALA_HOME=/usr/local/scala-2.11.12 export PATH=$SCALA_HOME/bin:$PATH记得存盘退出后,执行命令:,让环境配置生效在命令行提示后输入,则会进入Scala的命令行模式,在此可以编写Scala表达式和程序...

2022-06-20 20:33:27 556

原创 spark资料整理

Spark Standalone模式为经典的Master/Slave(主/从)架构,资源调度是Spark自己实现的。在Standalone模式中,根据应用程序提交的方式不同,Driver(主控进程)在集群中的位置也有所不同。应用程序的提交方式主要有两种:client和cluster,默认是client。可以在向Spark集群提交应用程序时使用--deploy-mode参数指定提交方式。...

2022-06-17 09:27:18 89

原创 spark的环境配置

进入spark配置目录后,执行命令:cp spark-env.sh.template spark-env.sh与vim spark-env.shexport JAVA_HOME=/usr/local/jdk1.8.0_162export SPARK_MASTER_HOST=masterexport SPARK_MASTER_PORT=7077JAVA_HOME:指定JAVA_HOME的路径。若集群中每个节点在/etc/profile文件中都配置了JAVA_HOME,则该选项可以省略,Spark集群启

2022-06-17 09:12:07 2890

原创 RDD笔记

创建RDD零、本讲学习目标了解RDD的概念掌握RDD的创建方式一、RDD为何物(一)RDD概念Spark提供了一种对数据的核心抽象,称为弹性分布式数据集(Resilient Distributed Dataset,RDD)。这个数据集的全部或部分可以缓存在内存中,并且可以在多次计算时重用。RDD其实就是一个分布在多个节点上的数据集合。RDD的弹性主要是指当内存不够时,数据可以持久化到磁盘,并且RDD具有高效的容错能力。分布式数据集是指一个数据集存储在不同的节点上,每个节点存储数据集的一部分。(二)RDD示例

2022-06-16 15:11:24 81

原创 大数据实时处理学期总结

关于这学期的期末总结

2022-06-16 15:09:48 138

原创 Spark SQL数据源 - 基本操作

使用默认数据源和手动指定数据源

2022-06-16 15:05:19 766

转载 创建RDD

本文为CSDN博主「howard2005」的原创文章

2022-06-16 08:32:52 151

转载 简单介绍Spark On YARN架构

搭建Spark On YARN 集群

2022-06-16 08:28:26 383

原创 spark远程连接

spark的远程连接使用

2022-06-15 19:46:25 650

原创 私有云配置

私有云的创建

2022-06-14 19:23:02 121

原创 实时处理半期总结

关于是spark的半期总结

2022-06-14 19:15:18 47

原创 虚拟机作业

搭建

2022-03-14 21:59:04 283

原创 进入控制台界面,查看虚拟机桌面

1.进入控制台界面,查看虚拟机桌面2.查看网络拓扑结构,看路由器是否连接校园网3.查看创建的实例3,在桌面上找到远程桌面连接并且输入win7实例的ip地址进入,并输入密码账户4.查看和创建的实列是否能ping通,如不能ping通,并且查看防火墙是否关闭......

2022-02-28 22:04:44 776

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除