- 博客(76)
- 收藏
- 关注
RSS订阅原创 spark-mapPartitions
原因：map出入的函数是一条一条的进行处理，如果使用数据库连接，会每来一条数据创建一个连接，导致性能过低；而mapPartitions传入的函数参数是迭代器，是以分区为单位进行操作，可以事先创建好一个连接，反复使用，操作一个分区中的多条数据。不一定：如果数据RDD中的数据进行简单的映射操作，例如变大写，对数据进行简单的运算，map和mapPartitions的效果是一样的，但是如果使用到了外部共享的对象或数据库连接，mapPartitions效率会更高。
2024-04-10 22:12:19
361
原创 世界新冠疫情大数据案例
countrydata.csv 是世界新冠疫情数，数据中记录了从疫情开始至 7 月 2 日，以国家为单位的每日新冠疫情感染人数的数据统计。字段说明如下：
2023-10-18 12:14:00
308
原创 用户行为大数据案例
本数据集包含了2017-09-11至2017-12-03之间有行为的约5458位随机用户的所有行为（行为包括点击、购买、加购、喜欢）。数据集的每一行表示一条用户行为，由用户ID、商品ID、商品类目ID、行为类型和时间戳组成，并以逗号分隔。关于数据集中每一列的详细描述如下具体字段说明如下：
2023-10-17 12:18:10
189
原创 外卖大数据案例
meituan_waimai_meishi.csv 是某外卖平台的部分外卖 SPU（Standard Product Unit ， 标准产品单元）数据，包含了外卖平台某地区一时间的外卖信息。具体字段说明如下：
2023-10-16 19:46:34
351
原创 shell 基础3
取出2，4，6列内容，指定分隔符为：或，匹配到每个包含22的行，并在之前加。打印第二列小于5.0的全部内容。$a 在文件最后一行追加。删除匹配55的行及下一行。将所有匹配22的行替换。局部替换，c是整行替换。在第一行后面追加内容。在第3行后面追加内容。-i表示添加在文本中。隔行删除，删除奇数行。
2023-08-21 11:52:41
74
原创 shell编程 基础
将content.txt文件中的内容输出到控制台上。将content.txt中有tom的行输出到控制台。，可以使用多项选择、重复和子表达式来匹配文本。-2表示展示搜索行的同时展示上下各两行的内容。将$2文件中含有gree的行输出到控制台。-A2表示展示本行的同时继续向下展示2行。-B2表示展示本行的同时继续向上展示2行。cat -b 展示文件内容同时显示行号。head -n 2 展示头部2行。tail -n 2 展示尾部2行。将第11行的内容复制并展示所有。查找以root开头的行。只展示第4行复制的内容。
2023-08-18 18:38:54
98
原创 shell编程
最后一次执行的命令的返回状态。如果这个变量的值为0，证明上一个命令正确执行；如果这个变量的值为非0（具体是哪个数，由命令自己来决定），则证明上一个命令执行不正确了。$n ：n为数字，$0代表该脚本名称，$1-$9代表第一到第九个参数，十以上的参数，十以上的参数需要用大括号包含，如${10}如果内容中有命令、变量等，会先把变量、命令解析出结果，然后在输出最终内容。单引号定义字符串所见即所得，将单引号内的内容输出，看到的是什么就会输出什么。$@：命令行中所有的参数，不过。命令行中所有的参数，
2023-08-16 19:36:01
61
原创 Linux 基础
5 * * * * /usr/sbin/ntpdate time.windows.com 表示每隔5分钟执行一次后面的任务。cd /etc/sysconfig/network-scripts/ 进入指定目录。个数可以为多个，相当于超市的多个入口，可以从不同的文件入口进入文件，还可以互为备份。表示的是列表中所有文件的磁盘空间占用总和，也就是资源占用总和，它的统计单位是。systemctl start firewalld 开启防火墙。cat demo.txt 查看demo.txt中的内容。
2023-08-16 10:42:40
246
原创 python 基础
常用的四种声明方式：变量名=数值（十进制）；命名关键字参数（用*号分隔命名关键字参数，*号后面的参数必须以 参数名=参数值的形式传入，如果有未知参数和默认参数，则命名关键字要求在位置参数之后，默认参数之前）（4）元组tuple：不可变的有序序列（内部元素不可改变），通常用来保存程序中不可修改的部分，元素类型可不必相同，元素可重复，用（元素1，元素2...）声明。（3）列表list：可变的有序序列（增删改查），通常用于存储同类项目的集合，元素类型可不必相同，元素可重复，用[元素1，元素2...]声明。
2023-08-09 18:52:24
173
原创 图书借阅系统 SSM框架
5.模糊查询时将搜索的值持续显示在文本框中，加入value属性，3.修改界面${}中的值无法展示到页面中，解决方法：el表达式：isELIgnored="false"2.数据库中的1或0如何在页面中展示为“已订阅”和“未订阅”，解决方法：用标签。步骤四：applicationContext.xml。步骤二：创建工程、包、pom依赖。步骤一：创建数据库、表。步骤三：web.xml。
2023-08-01 16:52:00
108
原创 mybatis 基础2
association【引入JavaBean实体类】通过tprice，address_name模糊查询。数据库字段与JavaBean属性保持一致。数据库字段与JavaBean属性不一致。使用resultMap标签。
2023-07-19 19:44:16
860
原创 java mybatis
Mybatis是半自动的，Hibernate是全自动，区别：Mybatis是灵活的可以手工维护的框架，而Hibernate是高度封装的框架，无法灵活变动【很多复杂的功能模块无法实现】（2）实现MVC思想中的控制层（servlet）、模型层（entity，dao，service）、视图层（jsp）（3）框架是基于MVC的思想【web层独有的思想】的拓展而开发的，兼容性极高。（4）框架包含有MVC思想中的所有组成模块：控制层、模型层、视图层。（2）实现MVC思想中的持久层（模型层）
2023-07-18 08:15:29
186
原创 java ajax
在不需要点击刷新按钮时达到局部刷新显示，如下图所示。步骤七：UserServiceImpl。步骤五：UserDaoImpl。步骤六：UserService。步骤八：UserServlet。步骤一：创建工程/包/js。步骤9：login.jsp。步骤二：数据库/表创建。步骤四：UserDao。
2023-07-13 19:47:46
2269
原创 Java JSP实战
步骤2：创建工程包entity,dao,util,service,servlet。实现利用servlet+service+dao实现查询所有，对象，增删改，【引入mysql依赖，引入servlet依赖，jstl依赖】步骤10：HouseServiceImpl。步骤8：HouseDaoImpl。步骤9：HouseService。步骤11-1：web.xml。步骤6：BaseDao工具类。步骤7：HouseDao接口。步骤1：创建maven工程。步骤4：数据库/表 创建。步骤3：引入pom依赖。
2023-07-05 20:48:39
151
原创 oracle 基础2
(2)逻辑主外键 五表关联。首字母大写函数 initcap。字符串改为小写 lower。拼接 concat或 ||替换字符串 replace。删除两边空格 trim。截取字符串 substr。转大写 upper。
2023-07-04 19:58:31
425
原创 oracle 基础1
（1）grant connect to csc1 --给csc1用户赋予登录权限。字符串类型：varchar2（oracle独有） varchar。-->实例用户，学习用，有很多默认的表。需要登录sys或system用户进行解锁。plsql登录system用户。不赋权就没法看别的用户里的表。数据类型： number。2.system用户。日期类型： date。
2023-07-04 19:52:47
427
1
原创 Java jsp 实战
步骤2：创建工程包entity,dao,util,service,servlet。步骤15：servlet调用service并测试。步骤4：servlet/TsetServlet。步骤12：StudentServiceImpl。步骤2：编译（java-->class文件）步骤3：执行（执行class(字节码)文件）步骤1：翻译（jsp-->java）步骤13-1：index.jsp。步骤5：测试servlet。步骤1：创建maven工程。步骤13-2：测试访问。步骤3：引入pom依赖。
2023-07-04 17:05:45
288
原创 Java JDBC
因为Statement对象有sql注入的问题，sql注入是sql中的安全性 问题。4.调用ResultSet对象保存查询结果【查询才会使用得到ResultSet】（1）JDBC API的核心作业：1.连接数据库 2.执行sql语句 3.保存结果。本机----->访问------>应用服务器------JDBC---->数据库。客户端（本机+应用服务器）------JDBC------>数据库。步骤2：调用JDBC API接口或是类。步骤3：加载JDBC的驱动（jar包）
2023-06-28 19:59:40
710
原创 Java正则表达式
核心要点2：检索、替换那些符合某个模式(规则)的文本。核心要点1：一般用于注册等功能中的某些校验需求。（2）字母，数字或者特殊字符组成。
2023-06-20 18:02:09
43
原创 Java 反射
背景：IDEA中获取某个类中的所有方法的提示就是利用反射的机制实现。1.动态获取对象信息（成员变量，成员方法，构造方法）步骤2：通过字节码对象 获取成员，成员方法，构造方法。2.调用对象信息（成员变量，成员方法，构造方法）步骤1：获取class类型的对象【字节码对象】
2023-06-20 17:51:04
49
原创 Java XML
核心要点：属性值中或者文本中如果遇到无法显示在页面的字符，需要使用转义符进行转换。备注3：encoding=”UTF-8”指定当前xml遵循的字符集。（3）作用：传递数据，框架/应用程序使用XML进行参数配置。（3）标签（元素）和属性（属性名和属性值和等于号）备注2：version指定当前xml的版本。元素名称可以包含字母、数字或其他的字符。（4）文本（存在于标签之间的内容）（2）特点：跨平台，跨语言/系统。备注1：xml指定当前文档的类型。所有XML元素都必须有结束标签。（1）定义：可扩展标记语言。
2023-06-20 17:03:58
1003
原创 centos7配置静态ip
五、 进入以后是这个界面，红色方框里的内容是需要手动修改的，下面图片里已经修改过了。查看是否配置成功，inet 192.168.15.100就是之前设置的静态ip地址。第一行的地址192.168.15.100就是配置的静态ip地址，手动设置；如何查看虚拟机的net设置：打开VMware，点击编辑，点击虚拟网络编辑器。第二行是虚拟机网络vmnet8中的子网掩码；第三行是虚拟机网络vmnet8中的子网ip；第四行是DNS地址，与图中一致即可。进入centos网络配置文件夹。三、接着输入ls查看目录。
2023-06-18 12:35:01
490
原创 Java实用类
每个基本数据类型在java.lang包都有各自的包装类型，例如int类型的包装类型是Integerchar类型的包装类是character等等。
2023-06-13 16:18:08
40
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人