- 博客(8)
- 收藏
- 关注
RSS订阅原创 MySQL流程
数据库应用这么广泛，它分为了关系型和非关系型数据库，关系型数据库如MySQL，Oracle，Sql Server，主要是通过表和表，行和列之间的关系进行存储；非关系型数据库如Redis，MongDB，主要是通过对象的自身的属性来决定的。近期由于项目的不同，用到了不同的数据库，对数据库中的SQL顺序做了一个大概的流程。Select 去重 查询的字段from 表xxx join 要连接的表on 等值判断where (具体的值或者是子查询)group by 通过哪个字段来分组ha
2022-02-25 16:02:08
399
原创 SQL server之窗口函数应用
1.首先先简单描述一下SQL server的存储过程，通俗的说，就是将一个或多个Transact-SQL语句分组到逻辑单元中，并作为对象存储在数据库服务器中。 当第一次调用存储过程时，SQL Server会创建执行计划并将其存储在计划缓存中。 在之后的存储过程执行中，SQL Server重用该程序，以便存储过程可以非常快速地执行并具有可靠的性能.下面是几种简单的窗口函数1.cume_dist() 计算一组值中值的累积分布场景:生成一个报表，其中包含数据集中的顶部或底部有x%值，如销售人员占销售额的
2022-02-15 16:40:20
1496
原创 公司笔试题练习AWS
爬网程序可以在单次运行中爬取多个数据存储。完成后，爬网程序会在________________中创建或更新一个或多个表。解析：数据目录 or AWS Glue Data Catalog_________________是用于在AWS Glue 中执行提取、转换和加载 (ETL) 工作的业务逻辑。AWS Glue 将运行一个从源中提取数据、转换数据并将其加载到目标中的脚本。解析:作业 or job配置_________________可帮助 AWS Glue 维护状态信息，并可
2022-02-15 16:22:53
944
原创 Spark
一、Spark 初始化Spark初始化主要是要创建一个SprakContext实例，该实例表示与spark集群的连接。可以通过多种方式创建。SparkContext直接使用SparkContext类创建一个spark上下文，主要参数是指定master和appName。from pyspark import SparkContextsc = SprakContext(master = 'local[*]',appName='test')SparkConf还可以通过调用SparkConf配置类来生
2022-01-13 18:51:21
1565
原创 Spark之Dataframe
创建DataFrame, customers, products, sales创建下面三个dataframe (df_customers, df_products, df_sales)1）创建df_customers：customers = [(1,'James',21,'M'), (2, "Liz",25,"F"), (3, "John", 31, "M"),\ (4, "Jennifer", 45, "F"), (5, "Robert", 41, "M"), (6, "Sandr...
2022-01-13 18:47:13
502
原创 AWS与SQL server
大数据概念与影响1.全样而非抽样（抽取数据）2.效率而非精确3.相关而非因果大数据处理架构HadoopHadoop两大核心:HDFS+MapReduce不同数据库比较分析:Mysql 功能较稳定强大，满足多样需求MongoDB:数据模型较灵活，支持较多功能HBase:具有很好的扩展性，依赖Hadoop生态环境Redis:模型相对较为简单，可提供随机数据存储，数据库伸缩性较好Hadoop:支持大规模数据存储的组件HDFS 支持大规模数...
2022-01-13 18:42:04
439
原创 AES解密
AES解密算法AESUtil.classimport java.io.File;import java.security.Security;import java.security.spec.AlgorithmParameterSpec;import java.util.*;import javax.crypto.Cipher;import javax.crypto.spec.IvParameterSpec;import javax.crypto.spec.SecretKeySpe
2022-01-10 17:45:30
4180
原创 AES加密算法(maven)
AES加密算法ExcelUtil.classimport org.apache.poi.ss.usermodel.Cell;import org.apache.poi.ss.usermodel.Row;import org.apache.poi.ss.usermodel.Sheet;import org.apache.poi.ss.usermodel.Workbook;import org.apache.poi.xssf.usermodel.XSSFWorkbook;import j
2022-01-10 17:37:15
958
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人