qq_41081716的博客

原创 tableau 对比销售额分析（利用参数、exclude）

目的：找出与选定类别的差异步骤：首先，必须隔离选定类别的销售额。然后，需要使用 EXCLUDE 表达式在所有其他类别中重复该值。之后，便可轻松了解每个类别的销售额与其他类别的差异。因为类别是不固定的，可能是所有类别中的任意一个，所以需要设置参数：鼠标放在Category上，右键创建参数创建计算字段：[Category] = [参数].[Category]，名称为Selected Category创建计算字段：IF [Category] = [参数].[Category] THEN S

原创 tableau 总额百分比

每个国家/地区的收入对全球销售额有何贡献？ 如果我们按照贡献百分比着色，即可看出美国对全球销售收入的贡献最大。但是，我们可能想重点关注欧盟等在绝对值上相对贡献较小的市场。如果不采用详细级别表达式，对某市场进行筛选会导致总额百分比的重新计算，从而显示每个国家/地区对其市场的贡献。利用简单的详细级别表达式，我们可对某市场进行筛选，同时仍可衡量全球贡献。先看图吧，大概能懂什么意思了，就是求百分比，以后可以套用。这里的第二列：SUM([{SUM(Sales)}])，第三列：SUM([Sales]).

原创 银行结算业务

信用卡是商业银行向个人和单位发行的，凭以向特约单位购物、消费和向银行存取现金，具有消费信用的特制载体卡片，信用卡按是否向发卡银行交存备用金分为贷记卡、准贷记卡两类，贷记卡是发卡银行给予持卡人一定的信用额度，持卡人可在信用额度内先消费、后还款的信用卡。采用信用证结算方式的，收款单位收到信用证后，即备货装运，签发有关发票账单，连同运输单据和信用证，送交银行，根据退还的信用证等有关凭证编制收款凭证；支票是出票人签发的，委托办理支票存款业务的银行或其他金融机构在见票时无条件支付确定的金额给收款人或者持票人的票据。

原创 商业银行业务

商业银行的业务通常可以分为几大类，包括但不限于表内业务和表外业务。

原创 按揭贷款类型

此外，还有一些特定的按揭产品，比如专门为首次购房者设计的贷款、老年人反向按揭等。选择何种类型的按揭贷款取决于借款人的具体需求、财务状况以及当地的政策规定。按揭贷款可以根据不同的分类标准分为多种类型。

原创 银行贷款产品

包括个人批量授信贷款、个人担保授信贷款、个人楼宇按揭贷款、个人汽车按揭贷款及其他按揭还款方式的贷款。是由政府部门、企事业单位及个人等（委托人）提供资金，由银行（受托人）根据委托人确定的贷款对象、用途、金额、期限、利率等代为发放、监督使用并协助收回的贷款。住房公积金贷款是指政府所属的住房公积金管理中心运用公积金，委托银行向购买自住住房(包括建造、大修)的住房公积金缴存发放的优惠贷款。个人消费贷款是指银行向个人客户发放的有指定消费用途的人民币贷款业务,用途主要有个人住房、汽车、一般助学贷款等消费性个人贷款。

原创 个人网银、手机银行

手机银行通常是在个人网银的基础上发展起来的，它提供了更加便捷的操作方式，因为智能手机具有便携性和随时在线的特点。通过手机银行，用户可以执行与个人网银相似的功能，此外还可以利用手机的特性（如摄像头扫描二维码、地理位置服务等）来完成一些特定的操作，比如快速转账、扫码支付等。个人网银通常需要用户注册并获得登录凭证，如用户名和密码、数字证书等，以保证交易的安全性。总的来说，个人网银和手机银行都是为了方便客户进行银行业务而设计的服务，它们的区别主要体现在使用的设备以及由此带来的便捷性和功能性差异上。

原创 银行卡类型

其中贷记卡和准贷记卡属于信用卡。存有足够的资金才能进行交易。借记卡、准贷记卡、贷记卡。用户先要存入一定的备用金。转账、存取现金以及消费。

原创 活期存款类型

此外，根据不同国家和地区的规定，活期存款可能有不同的管理规则和服务费用。：这种账户结合了定期存款和活期存款的特点，存款人可以在未到期前提前支取存款，银行根据实际存期给予相应的利息。：虽然通常认为储蓄存款更多地与定期存款关联，但也存在活期储蓄账户，提供较低的利率，但存取更为灵活。：除了基本存款账户外，存款人还可以开立的一般性账户，可以办理存款、取款、转账等多种业务。：这类账户是专门为存款人管理特定用途的资金而设立的，比如专项基金、项目资金等。：主要是为了企业的结算业务而设立的账户，方便企业的资金流转。

原创 公积金贷款、商业贷款和组合贷款

根据个人实际情况和需求，选择合适的贷款方式和还款方式。

原创 银行定期产品

定期存款是指存款人在银行或金融机构存入一定金额的资金，并约定一个固定的存期，在存期内不得随意支取，到期后可以获取本金和预先约定好的利息的一种存款方式。每种类型的定期存款都有其特定的优势和适用人群，选择哪种类型的定期存款取决于存款人的财务状况、风险承受能力和资金需求等因素。：这类存款产品会将一部分存款与金融衍生品挂钩，以期获得高于普通定期存款的收益，但同时也存在一定的市场风险。，存款人一次性存入一定金额，并约定存款期限，到期后一次性取出本金和利息。，根据提前通知的时间长短，可以分为。：存款时不约定存期，但。

原创 等额本息&等额本金

【代码】等额本息&等额本金。

原创 数据库学习资料

1、

原创 RDD-数据转换

创建一个简单的 RDD，并对其进行一系列转换操作。并加入函数，日志的方式。

原创 RDD的map和flatMap

在 Apache Spark 中，map和flatMap是 RDD（弹性分布式数据集）中最常用的转换操作之一。

转载 Spark RDD：弹性分布式数据集的精髓

在Apache Spark的数据处理架构中，RDD（Resilient Distributed Datasets，弹性分布式数据集）扮演着核心角色。RDD是Spark计算的基本单元，它使得开发者能够以一种高效且容错的方式来处理大规模数据集。Spark的计算任务始于一个Spark上下文对象，通常通过创建。是与Spark集群交互的入口，它负责资源的申请、任务的调度以及RDD的创建和管理。通过Spark上下文，开发者可以创建RDD实例，这些RDD可以是从HDFS、本地文件系统或其他数据源加载的数据集。

原创 SparkContext

是 Apache Spark 的核心类之一，它是 Spark 应用程序的入口点。当想要使用 Spark 的功能时，通常需要首先创建一个实例。负责连接 Spark 集群，并初始化 Spark 应用程序所需的资源。

原创 RDD＜--＞ DataFrame

【代码】RDD＜--＞ DataFrame。

原创 pyspark-rdd

【代码】pyspark-rdd。

原创 PySpark

PySpark的本质确实是Python的一个接口层，它允许你使用 Python语言来编写 Apache Spark 应用程序。通过这个接口，你可以利用 Spark 强大的分布式计算能力，同时享受 Python的易用性和灵活性。

原创 Spark数据介绍

RDD适合需要高度定制化的数据处理逻辑，对容错性要求高的批处理任务。DataFrame适合处理结构化数据，需要快速开发周期，易于使用 SQL 查询的场景。Dataset：结合了 RDD 和 DataFrame 的优点，提供了类型安全和优化执行的能力，适合需要结构化数据处理同时需要一定程度自定义逻辑的情况。

原创 df.write.csv

使用分布式文件系统（如 HDFS）时生成的，用于存储和管理大数据集。文件）包含了数据的一部分，而对应的校验和文件（文件则用于标记数据写入操作的完成状态。文件的存在表示数据写入操作已经成功完成。output_data是一个文件夹。文件）用于验证数据的完整性。

原创 pyspark.sql.functions

【代码】pyspark.sql.functions。

原创 ＜class ‘pyspark.sql.dataframe.DataFrame‘＞

在 PySpark 中，DataFrame是一个分布式数据集类似于Pandas 中的 DataFrame。DataFrame提供了许多内置的方法来帮助你处理数据。以下是一些常用的DataFrame。

原创 pyspark.sql.types

SparkSession 对象。

原创 spark.sql

在 PySpark 中，方法可以将 DataFrame 注册为临时视图（temporary view），这样就可以使用 SQL 查询来操作 DataFrame。临时视图只在当前 SparkSession 的生命周期内有效，并且在同一 SparkSession 中可以被多次替换。我们可以在之前的示例中加入，以便使用 SQL 查询来完成一些操作。

原创 spark读取csv文件

测试spark读取本地和hdfs文件。

原创 Spark的Web界面

已提交的作业不同阶段RDDs（弹性分布式数据集）Apache Spark UI中的"Executors"页面，该页面提供了关于Spark应用程序中执行器的详细信息。执行器是Spark应用程序中负责执行任务的进程。

原创 mac安装spark

spark的conf目录/opt/homebrew/Cellar/apache-spark/3.5.2/libexec/conf。spark的bin目录：/opt/homebrew/Cellar/apache-spark/3.5.2/bin。hadoop的bin目录：/opt/homebrew/Cellar/hadoop/3.4.0/bin。

转载 YARN介绍

1、YARN简介2、YRAN基本架构3、YARN高可用4、Yarn调度策略5、Yarn运维与监控

转载 HDFS介绍

转载 第一次运行java

IDEA全称IntelliJ IDEA，是Java语言对的集成开发环境，IDEA在业界被认为是公认最好的Java开发工具。注意：这里没有用homebrew安装，因为运行brew install maven时会自动安装最新版本的jdk-22。3】安装IntelliJ IDEA。

原创 Python 操作大数据使用 Hadoop

参考：https://blog.csdn.net/wuShiJingZuo/article/details/135620018。

转载 Hadoop报错：Permission denied: user=dr.who, access=WRITE xxxx

修改：core_site.xml。

转载 Hadoop介绍

原创 mac安装hadoop

2】hadoop的文件配置比较多，注意理解 路径、端口的配置（网上的不一定适合自己的电脑环境，需要多尝试）；3】中间会遇到一些包未安装的情况，可直接安装，如果最后还是有问题，基本都出在配置文件；1】jdk和hadoop的版本需要兼容，建议jdk选择1.8 版本；（可参考流程、具体配置需要自己摸索设置）

原创 hadoop常用地址

java："/opt/homebrew/Cellar/openjdk/22.0.1/libexec/openjdk.jdk/Contents/Home"

原创 hadoop日志文件

路径：/opt/homebrew/Cellar/hadoop/3.4.0/libexec/logs从你提供的输出信息来看，你正在查看 Hadoop 的日志文件目录 (logs目录)。这里列出了 Hadoop 各个组件的日志文件。

原创 YARN ResourceManager 的 Web 界面

上述显示的是Hadoop YARN的Web界面，具体来说是“所有应用程序”页面。这个页面提供了关于Hadoop集群的详细信息，包括集群度量节点度量和调度器度量。

原创 NameNode 的 Web 界面

这些选项允许用户访问Hadoop集群的不同方面，以便监控和管理集群的状态和性能。图片显示的是Hadoop的Web界面导航栏。对于Utilities的下拉菜单。功能，帮助用户监控和优化集群的性能和稳定性。这些工具选项提供了对Hadoop集群的。