- 博客(30)
- 收藏
- 关注
RSS订阅原创 iceberg 遇到的问题
writetadata.previous-versions-max=2 # 保留历史数据最大为2，加上最新数据，一共3个。通过org.apache.iceberg.actions.RewriteDataFiles来实现表的数据文件的合并，writetadata.delete-after-commit.enabled=true # 删除历史数据。
2024-05-09 11:16:26
194
原创 虚拟机ping不通
隔了一段时间，想复习下以前学的知识，需要用到虚拟机，于是乎，开启虚拟机，主机死活ping不通虚拟机，去网上搜索，检查发现虚拟机防火墙是关闭的，网卡开启的，网段也是和虚拟机配置的同一网段，主机的vmnet8也是开启的，网段也是对的。可能是虚拟机坏了吧，重新搭建一个虚拟机，我艹，还是不行，继续查资料，查资料，最后想着是不是主机的ip和虚拟机冲突了，看了下，没冲突啊，算了，改下vm上的网段吧（包括虚拟机，主机），没想到，这一改，可以了。后面想着，不对，肯定有哪出问题了，然后。
2024-03-10 14:04:11
376
原创 spark standalone HA
再启动zk (所有节点) zookeeper-3.4.6/bin/zkServer.sh start。然后启动spark （node1） spark/sbin/start-all.sh。最后启动备份节点（node2）spark/sbin/start-master.sh。先启动hdfs (node1) start-dfs.sh。配置前提：hdfs、zk、spark 可用。
2023-11-03 11:26:15
43
原创 spark standalone模式
log4j.rootCategory=info 改为 log4j.rootCategory=warn。核心：spark集群加hdfs。# 启动日志 （18080）
2023-10-30 15:33:26
53
原创 presto 内存配置
2) 对于 memory.heap-headroom-per-node 第三方库的内存配置 : 建议 jvm内存的 15%左右, 默认为30%3) 在配置的时候, 不要正正好后, 建议预留一点点, 以免出现问题,建议预留 5%~10%4) 用户内存和系统内存之间比较, 一般是以 8/2原则或者 7/3原则。1) 各个节点 JVM内存推荐大小: 当前节点剩余内存 80%
2023-10-28 11:58:03
128
原创 presto 时间函数
比如 数据字段类型为date类型,那么在基于这个字段进行过滤的时候, 编写的过滤条件上值必须也是date类型。在presto中, 对于数据类型要求比较严格,
2023-10-28 11:42:48
958
原创 python jieba分词
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple jieba
2023-10-20 20:12:29
41
1
原创 spark on yarn 环境配置
当Spark Application应用提交运行在YARN上时，默认情况下，每次提交应用都需要将依赖Spark相关jar包上传到YARN 集群中，为了节省提交时间和存储空间，将Spark相关jar包上传到HDFS目录中，设置属性告知Spark Application应用。-- 设置聚合日志在hdfs上的保存时间 -->-- 设置yarn集群的内存分配方案 -->-- 设置yarn历史服务器地址 -->-- 配置yarn主节点的位置 -->-- 关闭yarn内存检查 -->-- 开启日志聚合功能 -->
2023-10-20 18:30:23
313
1
原创 rdd算子
reparation 是coalesce的一种当参数2为True一种简写coalesce 默认只能进行减少分区, 如果要增大分区, 需要将参数2设置为True, 一旦设置为True就会产生shuffle区别:1) 两个算子都是用于重分区的算子, 一个能增大也能减少, 而coalesce默认只能减少分区2) reparation默认会产生shuffle 而coalesce默认没有shuffle3) reparation 是coalesce的一种当参数2为True一种简写。
2023-10-20 18:29:54
91
1
原创 运行spark报JAVA_HOME is not set
2、找不到java环境，可能是配置了多个python 环境导致，【经检查/etc/profile有配置JAVA_HOME，可能因为优先级没访问到】，在~/.bashrc里面配置就ok了，【我初始化anaconda 是配置在bashrc的，使用的是anaconda的python解释器】1、运行spark程序时，部分python代码需要py4j转换为java代码，而远端设备找不到java环境。2、 需要在代码中添加以下内容,用于锁定远程版本 (放置在mian函数的上面)
2023-10-19 19:41:30
417
1
原创 pycharm 连接远程设备
下面这个选择system interpreter很重要。选择system interpreter很重要。pycharm 2023.1.2 专业版。远程设备搭建了anaconda虚拟环境。简单配置下吧，这玩意很智障。2、为项目配置远程映射路径。1、为项目添加解释器。
2023-10-18 09:26:14
48
1
原创 anaconda安装
source activate pyspark_env 或者 conda activate pyspark_env。deactivate pyspark_env 或者 conda deactivate。pip install -i 镜像地址 包名。例如: 创建一个pyspark_env 虚拟环境。conda uninstall 包名。conda install 包名。2、修改配置文件/etc/profile。pip uninstall 包名。2- 如何创建一个新的虚拟环境。3- 如何进入虚拟环境(激活)
2023-10-17 17:09:22
58
原创 mysql下载与mysql驱动下载
mysql下载MySQL :: Download MySQL Community Server (Archived Versions)mysql驱动下载MySQL :: MySQL Community Downloads
2023-10-17 15:49:17
37
原创 vm实现基本集群搭建准备
2、虚拟设备都能ping通外网，且在windows cmd窗口能ping通虚拟机。1、3台ip不同，物理地址不同，hostname不同的centos7的虚拟机，1、检查 【ip,hostname不能相同】
2023-10-17 11:00:32
70
原创 vm 一台设备复制为多台设备
修改1、ip2、hostname3、物理mac地址实现1. 设备克隆2. 修改物理地址3. 修改IP地址5. reboot。
2023-10-17 10:09:03
36
原创 hadoop 最精简配置
- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->-- 设置MR程序默认运行模式： yarn集群模式 local本地模式 -->-- 设置HDFS web UI用户身份 -->-- 设置YARN集群主角色运行机器位置 -->-- 设置Hadoop本地保存数据路径 -->-- 设置SNN进程运行机器位置信息 -->-- 整合hive 用户代理设置 -->-- 设置yarn历史服务器地址 -->-- MR程序历史服务器端地址 -->
2023-10-16 09:48:24
88
1
原创 chrome安装沙拉查词
链接：https://pan.baidu.com/s/1_XsoJi0JWpWemUZehHwNYg?pwd=84hr提取码：84hr。
2023-09-05 11:49:31
1611
1
原创 python 正则 ‘r’ 理解
python解释器转换”，“正则表达式转换”，“换行符\n”, "字符串\n"如果还不理解，可以去看下原文，如下。
2023-09-04 15:45:25
162
1
原创 VMware实现虚拟机的配置
步骤1 步骤2步骤3步骤4步骤5 步骤6步骤7 步骤8步骤9 步骤10步骤11 步骤12步骤13 步骤14步骤 15步骤1 步骤2步骤1，选择后一般点击第一个等待图形化界面的出现，步骤2步骤3 步骤4步骤5 步骤6步骤7 步骤8步骤9步骤10重点步骤11 步骤12步骤13 步骤14。
2023-08-17 17:41:58
1882
原创 jdk的配置linux
1、指向JDK的安装目录，方便后面jdk更新，直接更换JAVA_HOME内容就可以了。最常见的类是dt.jar，tool.jar,它们都在jdk的lib目录下面。在开发jdk的时候需要引用其它的类，需要让解释器知道去哪引用。JAVA_HOME、PATH和CLASSPATH配置的意义。3、有些第三方软件会引用约定好的JAVA_HOME。2、和PATH配置在一起，太长，不好看。#刷新环境变量文件 让配置生效。#删除红色安装包（可选）
2023-08-17 16:33:30
63
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人