自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(47)
  • 收藏
  • 关注

原创 数据可视化的强大工具​:PowerBI

Power BI是微软开发的一款商业智能工具,它能够将复杂的数据转化为直观、易于理解的视觉化图表。通过Power BI,用户可以轻松连接到各种数据源,对数据进行清洗、建模、分析和展示,从而快速发现数据中的规律和趋势。

2024-05-17 15:58:09 311

原创 Zeppelin安装

Zeppelin安装

2024-04-01 00:28:37 487

原创 centos转图形界面

【代码】centos转图形界面。

2023-12-10 16:35:29 253

原创 帕累托图tableau

tableau画帕累托图

2023-10-19 10:38:01 173

原创 微信开发者工具80051报错

或者使用公共图床,将图片变成路径。但是更新版本后要自动勾选压缩包。微信开发者工具上传项目时报错。官方显示已经在0.5版本修复。/分包上传/压缩上传。

2023-10-10 13:51:29 253

原创 jupyter notebook 运行没有反应

具体来说,它注册了一个名为"Microsoft Edge"的浏览器,该浏览器使用了指定路径下的Microsoft Edge浏览器的可执行文件(msedge.exe)。最后一行代码设置了Jupyter Notebook的配置选项NotebookApp.browser,将默认的浏览器设置为"Microsoft Edge"。总之,这些代码的作用是配置Jupyter Notebook,以便在默认情况下使用Microsoft Edge浏览器打开链接。提供了打开网页和处理浏览器相关操作的功能。

2023-09-24 17:04:48 1315

原创 linux进程杀不死

linux进程杀不死

2023-09-23 20:08:28 262

原创 Mysql->Hudi->Hive

抽取mysql数据到hudi并关联hive

2023-09-11 14:40:38 338 4

原创 【无标题】

4 hdfs cacheadmin -modifyPool -pool mycache -expiryMs 86400000设置缓存池过期时间为一天。org.apache.spark.serializer.KryoSerializer是Hudi所需的序列化器。2 hdfs getconf -confKey dfs.replication检查当前副本因子配置。3 hdfs cacheadmin -addPool mycache 添加缓存。hoodie. properties 文件有问题,去找好的替掉。

2023-09-10 11:01:24 432

原创 spark集成hudi

spark集成hudi

2023-09-09 11:03:48 428

原创 Tableau画图

tableau画各种图

2023-08-19 16:05:55 257

原创 科学上网时,conda创建虚拟环境失败/浏览器不能上网

即可 自动获得IP地址和正常的上网。

2023-07-13 10:41:04 163

原创 hadoopwebUI界面无法修改

在hdfs-site.xml加入。

2023-05-05 14:58:11 82

原创 hive3.1.2初始化失败

hive初始化报错

2023-05-05 09:41:52 192

原创 ClickHouse

指定任意合法表达式数据partitionClickHouse支持PARTITION BY子句,在建表时可以指定按照任意合法表达式进行数据分区操作,比如通过toYYYYMM()将数据按月进行分区、toMonday()将数据按照周几进行分区、对Enum类型的列直接每种取值作为一个分区等。数据Partition在ClickHouse中主要有两方面应用:在partition key上进行分区裁剪,只查询必要的数据。

2023-04-12 21:53:17 268

原创 sparksql读取数据过大报java.lang.OutOfMemoryError: Java heap space

【代码】sparksql读取数据过大报java.lang.OutOfMemoryError: Java heap space。

2023-04-12 21:16:14 633

原创 Hbase使用

hbase一条龙

2023-04-06 20:32:36 101

原创 【已解决】hadoop处于安全模式无法退出

因为集群断电、重启等原因导致很多块文件丢失等情况,开启安全模式。发现处于safe mode is on。查看是否处于安全模式可通过命令查看。hbase list失败。查看namenode日志。也可通过查看ui界面。接上图发现命令没有用。

2023-04-06 14:41:55 573

转载 Hive字段默认值

Hive字段使用默认值

2023-04-02 10:55:04 1179

原创 idea连接mysql版本更换(两种方法)

注意username会报错,用user。

2023-04-01 17:26:38 947

原创 【已解决】idea连接hive3.1.2读取数据报错

将默认的IP访问改为域名访问的形式。

2023-04-01 16:21:41 357

原创 [已解决]往mysql导入数据乱码问题

[已解决]往mysql导入数据乱码问题

2023-03-29 16:03:04 196

原创 安装使用sqoop

sqoop安装及使用

2023-03-28 21:49:45 180 1

原创 全量抽取到hive(静态分区)

【代码】全量抽取到hive(静态分区)

2023-03-28 15:10:15 134

原创 java.lang.NoSuchMethodError: org.apache.hadoop.fs.FSOutputSummer.<init>(Ljava/util/zip/Checksum;II)

Spark抽取数据(mysql->hive)报错

2023-03-28 10:30:21 171

原创 Mon Mar 27 12:26:28 CST 2023 WARN: Establishing SSL connection without server‘s identity verifi

不建议在没有服务器身份验证的情况下建立 SSL 连接。根据 MySQL 5.5.45+、5.6.26+ 和 5.7.6+ 要求,如果未设置显式选项,则必须默认建立 SSL 连接。为了符合不使用 SSL 的现有应用程序,验证服务器证书属性设置为“false”。您需要通过设置 useSSL=false 来显式禁用 SSL,或者设置 useSSL=true 并为服务器证书验证提供信任库。

2023-03-27 12:31:53 332

原创 idea连接linux中mysql[08S01]错误

idea连接linux中mysql[08S01]错误

2023-03-10 22:26:50 531

原创 idea创建spark项目时,引入了SparkSession依赖,仍然报错,没有这个包

idea创建spark项目时,引入了SparkSession依赖,仍然报错,没有这个包

2023-03-01 11:50:28 693

原创 kafka内置zookeeper启动报错:ZooKeeper audit is disabled.

kafka内置zookeeper启动报错:ZooKeeper audit is disabled.

2023-02-19 21:42:35 1193

原创 【解决】telent:未找到命令,使用yum install 显示没有可用的软件包

【解决】telent:未找到命令,使用yum install 显示没有可用的软件包

2023-02-19 00:11:06 1103

原创 mysql初始化失败及会出现的问题

The designated data directory D:\mysql-8.0.30-winx64\data\ is unusable. You can remove all files that the server added to it.2023-02-18T02:53:41.307522Z 0 [ERROR] [MY-010119] [Server] Aborting --initialize specified but the data directory has files in

2023-02-18 11:09:33 2598

转载 ERROR Exiting Kafka due to fatal exception (kafka.Kafka$)[已解决]

ERROR Exiting Kafka due to fatal exception (kafka.Kafka$)[已解决]

2023-02-13 17:50:50 3940

原创 Hadoop和Hbase版本对应关系(参考官网)

Hadoop和Hbase版本对应关系(参考官网)

2023-02-13 17:10:24 6234

原创 Spark-shell报error: not found错误

Spark-shell报error: not found错误

2023-02-13 00:17:01 490

原创 java.io.EOFException: End of File Exception between local host is: “master/192.168.128.130“; destina

java.io.EOFException: End of File Exception between local host is: "master/192.168.128.130"; destina

2023-02-12 23:13:09 975

原创 idea打包jar在集群运行FlinkWordCount.jar

idea编写WordCount程序,打jar包上传到hadoop集群运行

2023-02-11 15:03:00 395

原创 【已解决】Not a valid command: sbt-version (similar: writeSbtVersion, session)

Not a valid command: sbt-version (similar: writeSbtVersion, session)

2023-02-09 00:51:52 596 1

原创 当zookeeper报错Invalid config, exiting abnormally,Error contacting service. It is probably not running

【已解决】当zookeeper报错Invalid config, exiting abnormally,Error contacting service. It is probably not running

2023-02-08 04:10:48 2500

原创 Python词频分析词云

Python词频分析词云

2022-12-14 17:13:15 368

原创 Python文件输出输入文件处理

Python文件输出输入文件处理

2022-12-07 18:40:32 1263

demo2.html

demo2.html

2023-10-11

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除