- 博客(80)
- 收藏
- 关注
RSS订阅原创 Could not resolve all dependencies for configuration ‘:classpath‘
Could not resolve all dependencies for configuration ':classpath'
2024-01-03 15:09:19
4030
原创 You may use special comments to disable some warnings.Use // eslint-disable-next-line to ignore th
这些错误和警告来自于你的 JavaScript 和 Vue.js 代码，它们被 ESLint 检测到。ESLint 是一个开源的 JavaScript 代码检查工具，可以在代码编写过程中发现潜在的错误和不符合代码规范的写法。
2023-12-26 09:38:33
1745
原创 concat_ws()和college_list()配合=＞实现多行转一行
concat_ws()和college_list()配合=>实现多行转一行。
2023-12-21 15:49:10
1316
原创 SparkSQL 函数 crossjoin()
crossJoin是 Spark SQL 中用于连接两个 DataFrame 的操作。这个操作会生成一个新的 DataFrame，其中包含两个原始 DataFrame 中所有可能的行组合，即它是一种笛卡尔积。
2023-12-19 15:29:38
1031
原创 spark 写入hive报错[笔记]:Caused by: org.apache.spark.SparkException: Job aborted due to stage failure: Tas
Spark将数据写入hive时报错：Exception in thread "main" org.apache.spark.SparkException: Job aborted.Caused by: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 2.0 failed 1 times, most recent failure: Lost task 0.0 in stage 2.0 (TID
2023-12-15 10:50:15
1035
原创 Spark 写入 hive报错 [笔记]： The format of the existing table ods_7.user_info is `HiveFileFormat`.
Exception in thread "main" org.apache.spark.sql.AnalysisException: The format of the existing table ods_7.user_info is `HiveFileFormat`. It doesn't match the specified format `ParquetDataSourceV2`.
2023-12-15 09:56:41
408
原创 Spark SQL中coalesce()函数
在Spark SQL中，`coalesce()`函数用于从给定列中选择非空值。它接受一个或多个列作为参数，并返回第一个非空值。在数据清洗和预处理过程中，`coalesce()`函数非常有用，特别是在处理缺失值或空值时。
2023-12-12 17:16:13
1483
原创 Spark SQL 的partitionBy() 动态分区
在Spark SQL中，`partitionBy()` 动态分区是指根据数据的实际值进行分区，而不是在数据写入时就确定分区的值。动态分区``scala在上述示例中，首先使用 `spark.read` 方法读取 CSV 文件，并将其加载为 DataFrame。然后，使用 `df.write` 方法将 DataFrame 保存为 Parquet 格式的文件。在保存的过程中，使用 `partitionBy` 方法指定了两个列名，即 "column1" 和 "column2"，这样就会根据这两个列的值进行动态分区。
2023-12-12 17:10:25
1139
原创 Spark SQL 时间格式处理
理解是先用unix_timestamp将指点格式转换为时间戳，再用from_unixtime将时间戳转换为你想要的时间格式！所以这两个一般是配合使用的。函数通常用于将Unix时间戳转换为日期和时间格式。它接受一个Unix时间戳作为输入，并返回一个表示特定日期和时间的字符串。函数通常用于将日期和时间转换为Unix时间戳。它接受一个日期和时间作为输入，并返回一个表示该日期和时间的Unix时间戳。: 取得当期时间日期。
2023-11-24 20:47:59
2303
2
原创 null, message from server: “Host ‘192.168.170.1‘ is not allowed to connect to this MySQL server“
远程连接MySQL报错：java.sql.SQLException: null, message from server: "Host '192.168.170.1' is not allowed to connect to this MySQL server"
2023-11-15 11:38:32
762
原创 hiv启动报：ConnectException: Call From xxxx/192.168.170.111 to xueai:8020 failed on connection exception
Exception in thread "main" java.lang.RuntimeException: java.net.ConnectException: Call From xueai/192.168.170.111 to xueai:8020 failed on connection exception: java.net.ConnectException: 拒绝连接;看下自己的hadoop集群是否启动【jps】，看是否有没有哪个进程没有启动起来，没有启动起来就查看对应的日志文件。
2023-11-15 10:55:27
376
原创 Sqoop的安装和使用
-hive-import 的配置项要在 --hive-database 之前。将满足条件的数据抽取到hdfs或hive,需要用到配置参数为。注意： where一般位于--table。查看hive中是否导入成功。--where '表达式'3.改名和配置归属权限。
2023-11-01 15:48:13
595
原创 hive启动报错：Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientCaused by: MetaException(message:Could not connect to meta store using any of the URIs provided. Most recent failure: org.apache.thrift.transpor
2023-11-01 10:01:09
1298
原创 机器学习（python）笔记整理
归一化与规范化类似，也是将特征的值域缩小到[0,1]之间，但与规范化不同的是，归一化是对整个数据集的缩放，而规范化是对单个特征的缩放。标准化是将特征值转换为标准正态分布，使得特征值的均值为0，标准差为1，以消除特征值之间的量纲影响，并提高模型的精度。在这里，我们以xgboost模型为例进行训练。规范化的目的是将特征的值域缩小到[0,1]之间，以消除各特征值域不同的影响，并提高模型的精度。在数据中存在重复值的情况下，可以采用删除重复值、保留重复值、统计重复值等方式进行重复值处理。1.one-hot编码。
2023-10-26 09:46:27
795
原创 spark报错：apache.spark.memory.TaskMemoryManager - Failed to allocate a page (6710 bytes), try again.
17510 [Executor task launch worker for task 2.0 in stage 1.0 (TID 3)] WARN org.apache.spark.memory.TaskMemoryManager - Failed to allocate a page (67108864 bytes), try again.17195 [Executor task launch worker for task 4.0 in stage 1.0 (TID 5)] WARN org.
2023-10-20 14:44:52
403
原创 Sqoop技术文档笔记
1.解压缩2.改名3.添加环境变量输入内容：刷新配置文件：source /etc/profile4.添加权限root:root=>所属组名：所属组群名5.修改配置文档6.配置mysql的Driver驱动器放在sqoop的lib中7.测试是否配置成功。
2023-10-19 15:24:18
128
原创 Hadoop启动报错 master: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).
Starting namenodes on [master]master: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).Starting datanodesStarting secondary namenodes [master]master: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).
2023-10-18 11:15:43
3850
3
原创 hive初始化报错：.HiveMetaException: Schema initialization FAILED! Metastore state would be inconsistent !!
org.apache.hadoop.hive.metastore.HiveMetaException: Schema initialization FAILED! Metastore state would be inconsistent !!Underlying cause: java.io.IOException : Schema script failed, errorcode 2org.apache.hadoop.hive.metastore.HiveMetaException: Schema
2023-10-17 20:12:37
1203
原创 Sqoop:Exception in thread “main“ java.lang.NoClassDefFoundError: org/apache/commons/lang/StringUtils
Sqoop:Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/lang/StringUtils
2023-10-17 16:08:59
367
原创 ssh 报错：Permission denied, please try again.
ssh 报错：Permission denied, please try again.
2023-10-17 10:10:09
718
原创 Window 窗口函数 (Spark Sql)
在 Spark SQL 中，Window 函数是一种用于在查询结果集中执行聚合、排序和分析操作的强大工具。它允许你在查询中创建一个窗口，然后对窗口内的数据进行聚合计算。
2023-10-17 08:49:17
1016
原创 ssh 连接：Permission denied (publickey,gssapi-keyex,gssapi-with-mic).
Permission denied (publickey,gssapi-keyex,gssapi-with-mic).
2023-10-16 21:17:07
1979
原创 echarts关于一次性绘制多个饼图 (基于vue3)
在echarts中，`dataset` 和 `source` 是用来配置数据的选项。是一个包含数据相关配置的对象，用于指定数据的来源和格式。它可以包含多个维度的数据集，每个维度都可以有自己的名称和数据。是 `dataset` 中的一个子项，用于指定数据的具体内容。在这个例子中，`source` 的值是一个二维数组，表示具体的数据。每一行代表一个数据条目，每一列代表一个维度。数据格式为dataset: {source: [
2023-10-15 17:21:31
3026
原创 clickhouse报错：＜Error＞ not match the owner of the data (clickhouse). Run under ‘sudo -u clickhouse‘.
clickhouse报错信息： Application: DB::Exception: Effective user of the process (root) does not match the owner of the data (clickhouse). Run under 'sudo -u clickhouse'.
2023-10-13 11:33:32
601
原创 sparksql 中的concat_ws 和sort_array 和collect_list的使用方法
`concat_ws`用于将多个字符串连接成一个以指定分隔符分隔的单个字符串。- 语法：`concat_ws(separator, str1, str2, ...)`- 示例：```sql```结果将是一个字符串："apple,banana,cherry"
2023-10-08 20:05:30
2825
原创 javaScript 中的localeCompare方法及其使用
localeCompare方法是JavaScript中比较字符串时常用的方法之一，其主要功能是根据指定的语言环境比较两个字符串的大小关系，可以用于排序、查找、去重等操作。
2023-10-05 13:20:52
3392
原创 Sqark Sql 的percentile_approx计算中位数
percentile_approx` 聚合函数，用于计算指定列的近似分位数。具体来说，`percentile_approx` 函数的参数包括三个部分：- 第一个参数是要计算分位数的列，这里使用 `$"order_money"` 表示使用名为 "order_money" 的列进行计算。- 第二个参数是要计算的分位数的百分比，这里使用 `lit(0.5)` 表示计算中位数（50% 的分位数）。
2023-09-28 11:22:20
1741
原创 spark 集成 ClickHouse 和 MySQL (读和写操作)（笔记）
【代码】spark 集成 ClickHouse 和 MySQL (读和写操作)（笔记）
2023-09-28 08:49:19
1915
原创 Spark集成ClickHouse(笔记)
在大数据处理和分析领域，Spark 是一个非常强大且广泛使用的开源分布式计算框架。而 ClickHouse 则是一个高性能、可扩展的列式数据库，特别适合用于实时分析和查询大规模数据。将 Spark 与 ClickHouse 集成可以充分发挥它们各自的优势，使得数据处理和分析更加高效和灵活。
2023-09-26 19:05:11
2125
原创 spark集成clickhouse报错： .ClassNotFound Failed to find data source: clickhouse. Please find packages at
Exception in thread "main" java.lang.ClassNotFoundException: Failed to find data source: clickhouse. Please find packages at http://spark.apache.org/third-party-projects.html at org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSource(Da
2023-09-25 15:41:02
707
原创 报错：Code: 210. DB::NetException: Connection refused (localhost:9000). (NETWORK_ERROR）
报错：Code: 210. DB::NetException: Connection refused (localhost:9000). (NETWORK_ERROR）clickhouse-client -m --password 123456 启动 clickhouse命令。cd /var/log/clickhouse-server/ //进入日志文件目录。
2023-09-23 18:05:41
2738
原创 （本地安装clickhouse）执行 nstall/doinst.sh时报错： cp: 无法创建普通文件“/usr/bin/clickho
root@bigdata1 clickhouse-common-static-21.9.4.35]# install/doinst.shcp: 无法创建普通文件"/usr/bin/clickhouse": 文本文件忙
2023-09-23 11:10:25
811
原创 关于ClickHouse的表引擎和SQL操作
在 ClickHouse 中创建表的 SQL 语句与 MySQL 类似，但是需要指定引擎类型，例如，使用 MergeTree 引擎存储数据：
2023-09-21 22:45:21
714
原创 clickhouse简单安装部署
在一个真正的列式数据库管理系统中，除了数据本身外不应该存在其他额外的数据。例如，10亿个UInt8类型的数据在未压缩的情况下大约消耗1GB左右的空间，如果不是这样的话，这将对CPU的使用产生强烈影响。即使是在未压缩的情况下，紧凑的存储数据也是非常重要的，因为解压缩的速度主要取决于未压缩数据的大小。0.0.0.0 //将这个注释打开。注意：必须按照以下顺序解压，并且每解压一个都要执行该解压后文件的install/doinst.sh文件。
2023-09-21 16:57:16
1656
2
原创 2024最新：关于基于vue-cli脚手架创建vue项目（图文版）
它确保各种构建工具与合理的默认值一起顺利运行，因此您可以专注于编写应用程序，而不是花费数天时间争论配置。同时，它仍然提供了调整每个工具配置的灵活性，而无需弹出。TypeScript 是一个 JavaScript 的超集，包含并扩展了 JavaScript 的语法，需要被编译输出为 JavaScript 在浏览器运行。代码风格检查和格式化（如：ESLint）【建议选择】vue-router（Vue 路由）【建议选择】。vuex（Vue 的状态管理模式）。E2E（端到端）测试。概述（来源于官方文档）
2023-09-21 11:52:31
645
2
原创 基于vue3 的 Echarts图表展示 (操作全流程)（图文版）
这篇是一个基于vue3上的echarts图表展示文章，无论你有没有基础 编写Vue工程代码，根据接口，用柱状图展示2020年消费额最高的5个省份，同时将用于图表展示的数据结构在浏览器的console中进行打印输出，将图表可视化结果和浏览器console打印结果分别截图并粘贴至对应报告中。 1.1 由node去下拉vuecli脚手架（未安装node的请查看文章：安装npm） 1.2 创建vue项目命令：vue create test3
2023-09-19 10:56:19
2521
1
原创 报错：To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Java heap space -> [Help 1][ERROR][ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.[ERROR] Re-run Maven using the -X switch to enable full debug logging.[ERROR][ERROR] For more information about the errors a
2023-09-16 11:04:07
9661
2
原创 hive 静态分区与动态分区（笔记）
Hive中的分区就是把一张大表的数据按照业务需要分散的存储到多个目录，每个目录就称为该表的一个分区。在查询时通过where子句中的表达式选择查询所需要的分区，这样的查询效率会提高很多，从而可以更快地查询数据。分区可以是静态分区和动态分区静态分区和动态分区各有其优缺点，需要根据实际情况进行选择。静态分区可以提高查询效率，但需要手动维护分区信息；动态分区可以自动维护分区信息，但对于大量数据导入可能会比较慢。
2023-09-15 20:17:56
430
大数据应用与开发-离线数据处理（附有国赛样题卷和对应代码，仅供参考）
2024-01-04
大数据应用与开发-E模块解析
2024-01-04
大数据应用与开发赛项-可视化电商数据
2024-01-03
Hadoop平台搭建 1.搭建 步骤文档 2.搭建时要用到的组件安装包
2023-12-22
echarts.min.js 本地echarts包（可下载学习使用）
2023-12-07
Vue经典脚手架项目 - TodoList (大学生期中期末项目，可供下载学习)
2023-12-04
PHP大学生期末项目（可供免费下载学习）
2023-12-04
hadoop-3.1.3 大数据生态集群（可供免费下载学习）
2023-12-01
Tomcat-8.5.63 （可免费下载学习使用）
2023-11-29
echarts.js 前端离线图表工具包（可直接下载学习）
2023-11-28
axios.js 本地包，前端接口请求（可免费下载学习使用）
2023-11-28
基于springboot的电影管理系统，大学生期中/期末项目，毕设等
2023-11-28
sqoop-1.4.7（可直接下载学习使用）附有安装配置教程！
2023-11-26
clickhouse-21.9.4.35（可直接下载学习使用）附有安装配置教程！
2023-11-26
hive-3.1.2（可供直接下载学习）
2023-11-26
Spark 3.1.1（可供免费下载学习）
2023-11-26
mysq-connector-java- 5.1.49l驱动包（可供免费下载学习）
2023-11-26
dolphincheduler-3.1.4（安装包可供免费下载学习）
2023-11-26
Azkaban-3.84.4 安装包（可供免费下载学习）
2023-11-26
《秋兴八首 - 其一》优秀PPT- 可供下载使用
2023-11-25
Python员工管理系统（大学生期末作业项目）
2023-11-25
大学生前端期末考试项目（飞机大战）
2023-11-25
vue2(脚手架创建）初始化项目，可直接拿来开发使用，环境已配置好！（空项目包）
2023-11-25
vue3(脚手架创建）初始化项目，可直接拿来开发使用，环境已配置好！
2023-11-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人