- 博客(68)
- 资源 (6)
- 收藏
- 关注
原创 数据湖表格式 Hudi/Iceberg/DeltaLake/Paimon TPCDS 性能对比(Spark 引擎)
当前,业界流行的集中数据湖表格式 Hudi/Iceberg/DeltaLake,和最近出现并且在国内比较火的 Paimon。我们现在看到的很多是针对流处理场景的读写性能测试,那么本篇文章我们将回归到大数据最基础的场景,对海量数据的批处理查询。本文主要介绍通过 TPC-DS 3TB 的数据的99个SQL,对这几种数据湖表格式的查询性能做一个全面的测试。
2024-07-11 12:49:13
1205
原创 通过 AWS Glue 同步 MaxCompute 数据到 S3
从上一步骤创建好 Connector 页面中,直接点击右上角的 Create connection,打开创建 Connection 的页面。,创建一个新的对象,在 Key/Value 中分别填写 accessId,accessKey 对应在阿里云实际的用户ID和key。(版本会影响方案的成功,4.x 以上版本验证是不可行的)在 Glue 创建 Connection 页面选中上一步骤创建好的 Secret 对象。点击 Create ,这样就创建好 MaxComputer 的连接。Name 自定义填写。
2024-05-15 16:24:44
587
原创 如何通过 AWS Managed Apache Flink 实现 Iceberg 的实时同步
AWS Managed Apache Flink (以下以 MAF 代指)是 AWS 提供的一款 Serverless 的 Flink 服务。
2024-05-13 23:38:38
950
原创 AWS-EMR & Airflow 调度hivesql 异常thrift.transport.TTransport.TTransportException: TSocket read 0 bytes
增加 hive.server2.authentication 设置为NOSASL。通过Airflow 调用 EMR 中的hive 执行sql,遇到错误异常。修改hive-site.xml。
2022-10-13 22:12:55
1300
1
原创 Flink 水位线
面试的时候被问到flink反压的问题,被面试官一直引导,其实是想看看对水位线的了解。在项目中确实没有用到水位线。所以整理一下水位线的理解吧。在数据实时分析的时候,关注的是数据的顺序性,特别是用Flink接收数据的时候考虑到流量在突然到来的峰值,flink反压导致了数据到达处理task的时候时间怎么对齐的问题。这里就需要用到flink 水位线了。 通俗来理解 Flink有两个时间:EventTime 和 ProcessTime(1)EventTime 是从原始消息中...
2022-05-03 11:25:00
1323
原创 Linux 安装 vsftpd
1、先安装GCC[root@sdw11 ~]# rpm -ivh ppl-0.10.2-11.el6.x86_64.rpmwarning: ppl-0.10.2-11.el6.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 1d1e034b: NOKEYPreparing... #############
2022-05-03 09:51:58
707
原创 Clickhouse 学习记录
从MYSQL将数据导入ClickhouseCREATE TABLE stations ENGINE = MergeTree ORDER BY id AS SELECT * FROM mysql('172.16.16.13:3306', 'kaggle_citylines', 'stations', 'norris', 'xxx');前提条件:MySQL的主键必须为not null172.16.16.13:3306 为MySQL的IP地址和端口号kaggle_citylines为MySQL的库,作
2022-03-13 12:36:55
706
转载 HBase 参数设置
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、GC二、RS 参数三、BlockCache四、flush 参数五、Split 参数前言转载 https://lihuimintu.github.io/2019/08/15/HBase-tuning/一、GCHBase CMS GC 配置参考二、RS 参数hbase.server.thread.wakefrequency该值默认是 10 秒,它影响着 Flush 和 CompactionFlushHand
2020-10-21 10:14:29
742
原创 论dfs.namenode.handler.count配置参数的总要性
接早前一篇文章 一次Hadoop 奇异故障之旅 的问题说。这篇文章的故障,虽然用分批启动DN节点的方法,避免了重启HDFS的出现的内存问题。但是治标不治本,风险依然是存在的。所以要从根本上根治这个疑难杂症,就要从其他参数配置着手。最终,锁定一个参数配置dfs.namenode.handler.count。先来看看它的解释 *NameNode有一个工作线程池用来处理客户端的远程过程调用及...
2018-03-28 10:38:11
9696
原创 MYSQL双机热备配置(主-主)
MYSQL双机热备配置(主-主)安装MYSQL省略修改root密码:UPDATE user SET password=PASSWORD('utl413') WHERE user='root';FLUSH PRIVILEGES;分别使用root用户登录mysql创建需要同步的数据库(略)创建需要同步的用户:CREATE USER 'cbc1'@'%' IDENTI
2017-10-10 09:47:47
817
原创 一次Hadoop 奇异故障之旅
中午接到一个同事的消息,说一个有200多个dn节点的集群(CDH)hive没办法创建分区了。重启了多次,都没有效果。后来发现namenode也一直出现故障。收到消息,就联机上去看了一下,果然hive的命令全部都挂起来了,hadoop fs 命令也一样被挂起。在CDH 的管理界面上检查了一下NN节点的状态,发现NN有问题。因为是生产环境,已经有半天没有数据上报了。运维的同事都比较着急。没办法,先来常规
2017-09-06 15:33:05
893
原创 Maven 配置 Storm 第三方依赖包分离
做storm的开发,一直有一个问题困扰,就是第三方依赖的包都要合并打成一个包,才能放到服务器上去运行,随着需求功能的增加,打的包也就越来越大。而我们的生产环境在云上,每次发布包,几百兆的文件都要传好久。所以,决定把这个问题彻底解决了,Storm的安装目录下有一个extlib的目录,分析bin/storm文件,发现,topo在启动运行的时候,会到这个目录下寻找是否有要加入到classpath中的文件。
2017-06-20 11:02:12
4632
3
原创 CDH 5 升级操作
现在大数据一直在使用CDH来作为基础平台。常会面临升级版本,操作中也经常出现各种各样的问题。 这里就整理一个操作步骤指引。1.先升级CM,大部分情况下都应该是离线升级的场景。所以要先从官方网站上下载需要升级版本的rpm包,放到自己搭建的yum源中。 官方地址:http://archive-primary.cloudera.com/cm5/redhat/6/x86_64/cm/ 切记,自建
2017-06-12 13:45:11
1810
原创 ORACLE 实现加载配置到内存中,模仿java的hashmap功能
在写oracle的存储过程时,都会遇到一些业务逻辑,需要写Function,来实现一些业务,然后返回一个结果,而在使用这个Function的时候又是通过一句SQL来直接调用,但是如果在Function中有查询数据表读取配置或者其他业务逻辑的时候,实际上的实现原理会是一条记录查询一次配置表。如果再遇上数据量很大的时候,这样的语句执行就变得非常非常的慢了。这时会想,是否也能有像java程序中hashm
2017-04-27 10:43:15
2363
原创 异常断电导致HDFS文件块丢失,影响HBASE数据的问题处理
这几天一直看到HDFS提示文件块丢失的异常信息,也一直没有去关注,认为其他都正常。但是翻查HBASE入库日志的时候,发现了HBASE在提示入库的异常信息。联想到HDFS的块丢失问题,所以决定仔细检查一下,一查不得了,果然文件块丢失的问题影响还很大。很多数据都无法入库了。通过命令检查HDFS的丢失文件块hdfs fsck / -list-corruptfileblocks发现
2017-04-06 09:57:00
4156
2
原创 Cloudera Hadoop 添加主机后,报主机状态异常问题
最近部署了一个CDH环境,突然发生了添加主机之后,提示主机状态异常,然后就无法分发CDH parcel。这个问题困扰了将近半天的时间,一直翻查各种日志,最后在agent的日志中发现了问题。主要原因是第一遍部署CDH环境成功以后,由于mysql重启异常,强制杀死后,导致了CM无法正常连接mysql。然后进行第二遍部署。在第二遍部署的时候,由于第一遍部署完成以
2017-04-05 08:58:17
2750
转载 数据库实例自动crash并报ORA-27157、ORA-27300等错误
原文地址rhel7.2上安装12C RAC数据库后,其中一个数据库实例经常会自动crash。查看alert日志发现以下错误信息:1234567891011121314Errors in file /d12/app/oracle/diag
2016-11-28 08:49:32
6527
转载 ICMP Flood攻击
1 原理ICMP Flood 的攻击原理和ACK Flood原理类似,属于流量型的攻击方式,也是利用大的流量给服务器带来较大的负载,影响服务器的正常服务。由于目前很多防火墙直接过滤ICMP报文, 因此ICMP Flood出现的频度较低。比较下面两幅图,就应该可以看出是否有ICMP Flood攻击。正常ICMP包: 图大包攻击的时候:
2016-07-01 10:49:40
5451
转载 ACK Flood攻击
1 原理ACK Flood攻击是在TCP连接建立之后,所有的数据传输TCP报文都是带有ACK标志位的,主机在接收到一个带有ACK标志位的数据包的时候,需要检查该数据包所表示的连接四元组是否存在,如果存在则检查该数据包所表示的状态是否合法,然后再向应用层传递该数据包。如果在检查中发现该数据包不合法,例如该数据包所指向的目的端口在本机并未开放,则主机操作系统协议栈会回应RST包告诉对方此端口不
2016-07-01 09:06:29
12955
转载 Storm安装
1. Storm集群组件Storm集群中包含两类节点:主控节点(Master Node)和工作节点(Work Node)。其分别对应的角色如下:主控节点(Master Node)上运行一个被称为Nimbus的后台程序,它负责在Storm集群内分发代码,分配任务给工作机器,并且负责监控集群运行状态。Nimbus的作用类似于Hadoop中JobTracker的角色。每个工作节点(Wor
2015-09-06 10:06:26
427
转载 Hadoop 故障:java.lang.OutOfMemoryError: Java heap space
一个作业运行时,在maptask阶段出现了如下错误:FATAL org.apache.hadoop.mapred.Child: Error running child : java.lang.OutOfMemoryError: Java heap space at org.apache.hadoop.io.Text.setCapacity(Text.java:240)
2015-02-03 10:39:23
721
转载 Using the LZO Parcel
This section describes how to install and use the LZO parcel.The RepositoryAdd the appropriate repository to Cloudera Manager’s list of parcel repositories. The HADOOP_LZO parcel will then bec
2015-01-27 11:29:59
571
转载 Recovery (bring GPDB up) from "FATAL:Global sequence number 1131954 less than maximum value 1131958
"Recovery (bring GPDB up) from "FATAL:Global sequence number 1131954 less than maximum value 1131958 found in scan ('gp_persistent_relation_node')""GPDB is down due to crash recovery failure with
2015-01-04 00:20:15
1233
转载 HBASE之RowKey排序解析
HBASE之RowKey排序解析 学了hbase一段时间了,近端时间在进行表设计的时候一直没搞清楚rowkey的排序规则是怎么样的。找了一些资料之后,原来rowkey的排序方式是以ASCII进行比较的。以下是ASCII对照表格及描述,希望对学Hbase的朋友有帮助:其他特殊字符的ASCII列表转载地址:http://san-yun.ite
2014-11-25 09:00:57
10927
转载 基于HBASE的并行计算架构之rowkey设计篇
转载dizhiHBASE作为大数据容器目前在业界得到认可,并行计算是应对大数据的核心思路,而分布式设计是并行计算架构的基本方法,本文将基于HBASE讲解一种并行计算架构的设计方法。1. 大数据在HBASE存储、计算以及查询的应用场景海量数据都是事务数据,事务数据都是在时间的基础上产生的。数据的业务时间可能会顺序产生,也可能不会顺序产生,比如某些事务发生在早上10
2014-11-25 08:43:40
815
转载 Hadoop:mapreduce程序reduce输出控制
1,在Hadoop中,reduce支持多个输出,输出的文件名也是可控的,就是继承MultipleTextOutputFormat类,重写generateFileNameForKey方法[java]public class LzoHandleLogMr extends Configured implements Tool { static class
2014-11-20 16:18:46
635
转载 Hadoop配置项整理(hdfs-site.xml)
续上篇整理一下hdfs相关的配置项 name valueDescription dfs.default.chunk.view.size32768namenode的http访问页面中针对每个文件的内容显示大小,通常无需设置。dfs.datanode.du.reserved1073741824每块磁盘所保留的空间大小,需要设置
2014-08-05 15:49:16
608
转载 LINUX 下安装 jdk 问题(please use alien to install rpm packages on Debian )
在ubuntu里安装jdk时,出现提示信息:rpm: please use alien to install rpm packages on Debian, if you are really sure use --force-debian switch. see README.Debian for more details. deb 是debian linux 的安装
2014-07-31 14:59:57
1451
转载 Hadoop HBase 配置 安装 Snappy 终极教程
原创地址http://shitouer.cn/2013/01/hadoop-hbase-snappy-setup-final-tutorial/
2014-07-30 16:25:53
560
转载 linux之sed用法
sed是一个很好的文件处理工具,本身是一个管道命令,主要是以行为单位进行处理,可以将数据行进行替换、删除、新增、选取等特定工作,下面先了解一下sed的用法sed命令行格式为: sed [-nefri] ‘command’ 输入文本 常用选项: -n∶使用安静(silent)模式。在一般 sed 的用法中,所有来自 STDIN的资料一般都会
2014-07-30 14:07:06
359
转载 如何重建EM
新安装11gR2,准备使用一下EM,但是默认建立的有一些问题,准备重建,重建过程中出了很多问题,搞了半天才正好,不过大致过程和10g是一样的.1.emca -repos recreate2.emca -config dbcontrol db3.emctl start dbconsole常用的命令语法:emca -repos create创建一个EM资料库emca -
2014-03-24 09:43:33
909
原创 Hadoop 配置安装问题集(待续)
1、安装HBASE后,需要将hadoop配置目录下的core-site.xml 和 hdfs-site.xml复制到hbase 的conf目录下。避免在运行job时出现 java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:/// 错误
2014-03-21 09:47:08
498
转载 sshd restart 遇到错误 cat: /proc/sys/crypto/fips_enabled: No such file or directory
[root@li414-184 ~]# /etc/init.d/sshd restartStopping sshd: [ OK ]cat: /proc/sys/crypto/fips_enabled: No such file or directory/etc/init.d/sshd: line 50: [
2014-03-19 11:09:37
5183
原创 安装 GCC (RedHat EL 6)
[root@sdw14 GCC]# lscloog-ppl-0.15.7-1.2.el6.x86_64.rpm glibc-devel-2.12-1.47.el6.x86_64.rpm libcap-ng-0.6.4-3.el6_0.1.x86_64.rpm ppl-0.10.2-11.el6.x86_64.rpmcpp-4.4.6-3.el6.x86_64.rpm
2013-12-02 18:00:38
1669
原创 解决ntp的错误 no server suitable for synchronization found
当用ntpdate -d 来查询时会发现导致 no server suitable for synchronization found 的错误的信息有以下2个: 错误1.Server dropped: Strata too high在ntp客户端运行ntpdate serverIP,出现no server suitable for synchronization found的错误
2013-11-06 09:29:33
1743
原创 Greenplum receive close on connection: Success (cdbfilerepconnserver.c:334) 错误分析
GP数据库集群,偶尔隔两天就会发生节点的切换,镜像实例变为主实例,主实例中断。检查主实例的日志发现出现一个错误后,镜像就启动了。错误:receive close on connection: Success (cdbfilerepconnserver.c:334)对这个错误分析了很长时间,为什么会偶尔有一次这样的问题出现。现在集群入库量很大,每个节点上的实例数也不少,就开始
2013-07-11 08:55:12
1596
原创 Greenplum 创建表空间
1、每台节点创建文件目录 主实例 镜像实例都需要创建目录例如 两个主 两个镜像mkdir -p /data/seg1/pg_pri_cdrmkdir -p /data/seg2/pg_pri_cdrmkdir -p /data/seg1/pg_mir_cdrmkdir -p /data/seg2/pg_mir_cdr以上内容每台节点都需要执行主实例建
2013-07-10 23:12:12
2449
转载 greenplum学习笔记_工作量与资源管理
1- 设定工作量管理服务配置参数1) 使资源计划默认可用;2) 可以设置如下资源限制参数:max_resource_queues:设置最资源队列数目max_resource_portals_per_transaction:设置在一个事物中最大打开游标的数量;resource_select_only:如果设置成ON状态,则只有select /select in
2013-06-03 10:09:39
1328
原创 Greenplum 数据库初始化总是出现几个节点实例无法启动的问题
最近搭建GP20台节点环境时,发生初始化总是出现几个节点实例无法启动的问题。折腾两天,才找到问题。初始化时,设置了最大连接数为100,每台机器运行12个实例,主备就是24个实例,初始化后有一部分实例正常启动,一部分失败。根据日志找到失败节点目录下的日志,发现失败原因是由于硬件资源问题导致,提示是初始化最大连接数过大。机器的配置都是很高的,会出现这样的问题,很奇怪。
2013-04-01 15:19:04
4542
转载 Linux下修改swap的大小
说到swap~它是什么的呢? 其实swap是内存的交换区;换句话说,如果内存不够用了,那么系统会在硬盘上存储一些内存中不常用的数据,之后将这部分数据在存储中析构掉;这样内存就又有剩余空间可以运行东东啦,这个过程也就是所谓的交换,存储数据的硬盘部分就是swap分区啦~ 装系统的时候可能会将swap大小设置的不合适 但是swap的大小不正确,很影响服务器的性能 上次有位同事就发生了这样
2013-02-21 09:14:08
744
mysql高可用集群方案中文
2012-11-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人