So1ok5-CSDN博客

原创大数据存储与访问Hive复习

日期的转换（substring、date_format、regexp_replace）开窗函数先分区在降序是让用RANK()函数还是ROW_NUMBER()函数来排序。ASC（ascend）: 升序（默认） DESC（descend）: 降序。输出对emp表中sal的2倍，sal除以5，sal对3取余的计算结果。展示全部的分区展示一个特定的分区怎么用where语句。数据库的删除怎么删除空的数据库怎么删除非空的数据库。location '存储路径';聚合函数 sum min。

2024-06-19 18:38:04 673

原创 Spark复习

spark在内存中的运行速度是Hadoop mapreduce 运行速度的100多倍，spark在磁盘中的运行速度是Hadoop mapreduce运行速度的10多倍。spark用内存，Hadoop mapreduce用硬盘。spark支持使用Scala、python、java、R等语言快速编写应用。spark可以与sql语句、实时计算及其他复杂的分析计算进行良好的结合。

2024-06-12 08:43:19 708

原创大二上复习材料（全）

浏览器在建立HTTPS连接时会验证服务器提供的证书的有效性和真实性，确认网站的身份，确保用户访问的是合法且真实的网站。：引擎将爬虫提取出的Item传递给Item Pipeline组件，Pipeline会按照配置好的顺序逐个执行一系列操作，例如清洗数据、验证数据完整性、去重以及将数据持久化存储至数据库或文件系统等。这意味着在客户端（如浏览器）和服务器之间传输的所有信息都是经过加密处理的，大大提高了通信的安全性，防止了中间人攻击。: 位于引擎和其他组件之间，提供对引擎发送或接收的数据进行预处理或后处理的能力。

2024-01-05 18:03:34 1274 1

原创爬虫作业_

首先完成当前页的爬取;其次对当前页进行解析解析提取当前页的标题和标题对应的url地址然后解析提取下一页的url地址，并对标题和标题对应的url地址进行保存操作。根据下一页的url地址继续爬取，继续进行以上步骤。

2023-12-22 11:57:24 610

原创 xsdm dwd dws

【代码】xsdm dwd dws。

2023-11-07 14:37:32 35

原创人工智能2302学习路线1.0(李绍硕)

高中到大学的心理调整、学习调整教务系统解读(非官方)学分解读学点解读（活动、加分条）、劳动实践绩点解读（排名）综测解读（排名）专升本解读大学中班委、社团、学生会的选择团员、党员解读大一文化课安排高数和英语听力大一专业课课程安排 Python、HTML5+CSS、JAVA、MySQL、Linux比赛office办公软件的使用技巧课程技巧、学生会工作技巧

2023-10-03 23:06:07 248

原创 JSP总结

它使用JSP标签在HTML中插入Java脚本，标签通常以<%开头，以%>结束。并且由WEB应用服务器中的JSP引警来编译和执行内嵌的Java代码，然后再将生成整个页面信息返回给客户端。JSP中包含三个指令，指令名: page-页面、include-包含、taglib-标签库。-- HTML注释，可以在客户端查看源代码的时候看到，安全性要低，一般用在网页结构说明的注释 --><%--JSP注释，只能在服务器端看到，安全性要高，一般作为业务逻辑的说明注释 --%>: 在当前页面引用指定的标签库中的标签。

2023-10-03 22:43:05 41

原创 Hadoop完全分布步骤

CentOS 7 默认安装 SSH 服务，可以使用如下命令查看 SSH 的状态。看到就表示 SSH 已经安装并启用关闭防火墙后要查看防火墙的状态，确认一下。

2023-10-02 19:37:14 57 1

原创 Scala总结

第一步复现上节课helloworld的scala脚本文件，A:\Scala test\HelloWorld.scalaobject HelloWorld object HelloWorld extends App{第二步当编译的文件和类文件不在一个路径下时，可以使用scalac -cp命令强制指定类文件所在的目录，输入scalac -cp C:\test\classes HelloWorld.scala。第九步最后运行程序，输入scala HelloWorld.scala。

2023-09-06 15:05:47 115 1

原创 MySQL笔记

create database 数据库名 character set 编码方式 collate 排序规则show create database数据库名;show databases；//查看当前存在的数据库alter database 数据库名 character set 编码方式 collate 排序规则;drop database 数据库名;use 数据库名;decimal(6,2) 数据总长度是6，小数后保留两位示例为:1234.56year 0000 date 0000:00:00 ti

2023-06-16 23:01:01 95 1

So1ok5的博客