- 博客(49)
- 收藏
- 关注
RSS订阅原创 Hbase安装及使用
关系：HBase通过Zookeeper来做master的高可用、RegionServer的监控、元数据的入口以及集群配置的维护等工作。再启动start-hbase.sh(/opt/module/hbase-2.2.3/bin，在你bin目录下)先启动zookeeper及hadoop。查看有哪些namespace。创建namespace。删除namespace。
2024-10-15 09:21:41
456
原创 yum不可用
当使用yum命令安装xx时，出现“Cannot find a vaild baseurl for repo：base”的错误，通常意为着yum源配置不正确或网络连接问题。
2024-07-19 17:37:30
1085
原创 数据可视化的强大工具：PowerBI
Power BI是微软开发的一款商业智能工具，它能够将复杂的数据转化为直观、易于理解的视觉化图表。通过Power BI，用户可以轻松连接到各种数据源，对数据进行清洗、建模、分析和展示，从而快速发现数据中的规律和趋势。
2024-05-17 15:58:09
828
原创 微信开发者工具80051报错
或者使用公共图床，将图片变成路径。但是更新版本后要自动勾选压缩包。微信开发者工具上传项目时报错。官方显示已经在0.5版本修复。/分包上传/压缩上传。
2023-10-10 13:51:29
1818
原创 jupyter notebook 运行没有反应
具体来说，它注册了一个名为"Microsoft Edge"的浏览器，该浏览器使用了指定路径下的Microsoft Edge浏览器的可执行文件（msedge.exe）。最后一行代码设置了Jupyter Notebook的配置选项NotebookApp.browser，将默认的浏览器设置为"Microsoft Edge"。总之，这些代码的作用是配置Jupyter Notebook，以便在默认情况下使用Microsoft Edge浏览器打开链接。提供了打开网页和处理浏览器相关操作的功能。
2023-09-24 17:04:48
2238
原创 【hudi】idea
4 hdfs cacheadmin -modifyPool -pool mycache -expiryMs 86400000设置缓存池过期时间为一天。org.apache.spark.serializer.KryoSerializer是Hudi所需的序列化器。2 hdfs getconf -confKey dfs.replication检查当前副本因子配置。3 hdfs cacheadmin -addPool mycache 添加缓存。hoodie. properties 文件有问题，去找好的替掉。
2023-09-10 11:01:24
600
原创 ClickHouse
指定任意合法表达式数据partitionClickHouse支持PARTITION BY子句，在建表时可以指定按照任意合法表达式进行数据分区操作，比如通过toYYYYMM()将数据按月进行分区、toMonday()将数据按照周几进行分区、对Enum类型的列直接每种取值作为一个分区等。数据Partition在ClickHouse中主要有两方面应用：在partition key上进行分区裁剪，只查询必要的数据。
2023-04-12 21:53:17
344
原创 sparksql读取数据过大报java.lang.OutOfMemoryError: Java heap space
【代码】sparksql读取数据过大报java.lang.OutOfMemoryError: Java heap space。
2023-04-12 21:16:14
726
原创 【已解决】hadoop处于安全模式无法退出
因为集群断电、重启等原因导致很多块文件丢失等情况，开启安全模式。发现处于safe mode is on。查看是否处于安全模式可通过命令查看。hbase list失败。查看namenode日志。也可通过查看ui界面。接上图发现命令没有用。
2023-04-06 14:41:55
881
原创 java.lang.NoSuchMethodError: org.apache.hadoop.fs.FSOutputSummer.＜init＞(Ljava/util/zip/Checksum；II)
Spark抽取数据(mysql->hive)报错
2023-03-28 10:30:21
212
原创 Mon Mar 27 12:26:28 CST 2023 WARN: Establishing SSL connection without server‘s identity verifi
不建议在没有服务器身份验证的情况下建立 SSL 连接。根据 MySQL 5.5.45+、5.6.26+ 和 5.7.6+ 要求，如果未设置显式选项，则必须默认建立 SSL 连接。为了符合不使用 SSL 的现有应用程序，验证服务器证书属性设置为“false”。您需要通过设置 useSSL=false 来显式禁用 SSL，或者设置 useSSL=true 并为服务器证书验证提供信任库。
2023-03-27 12:31:53
371
原创 idea创建spark项目时，引入了SparkSession依赖，仍然报错，没有这个包
idea创建spark项目时，引入了SparkSession依赖，仍然报错，没有这个包
2023-03-01 11:50:28
843
原创 kafka内置zookeeper启动报错:ZooKeeper audit is disabled.
kafka内置zookeeper启动报错:ZooKeeper audit is disabled.
2023-02-19 21:42:35
1468
原创 【解决】telent:未找到命令，使用yum install 显示没有可用的软件包
【解决】telent:未找到命令，使用yum install 显示没有可用的软件包
2023-02-19 00:11:06
1386
原创 mysql初始化失败及会出现的问题
The designated data directory D:\mysql-8.0.30-winx64\data\ is unusable. You can remove all files that the server added to it.2023-02-18T02:53:41.307522Z 0 [ERROR] [MY-010119] [Server] Aborting --initialize specified but the data directory has files in
2023-02-18 11:09:33
3271
转载 ERROR Exiting Kafka due to fatal exception (kafka.Kafka$)[已解决]
ERROR Exiting Kafka due to fatal exception (kafka.Kafka$)[已解决]
2023-02-13 17:50:50
4415
原创 java.io.EOFException: End of File Exception between local host is: “master/192.168.128.130“； destina
java.io.EOFException: End of File Exception between local host is: "master/192.168.128.130"; destina
2023-02-12 23:13:09
1273
原创 【已解决】Not a valid command: sbt-version (similar: writeSbtVersion, session)
Not a valid command: sbt-version (similar: writeSbtVersion, session)
2023-02-09 00:51:52
732
1
原创 当zookeeper报错Invalid config, exiting abnormally,Error contacting service. It is probably not running
【已解决】当zookeeper报错Invalid config, exiting abnormally,Error contacting service. It is probably not running
2023-02-08 04:10:48
3296
域名未设置正确的 DNS 服务器
2023-10-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人