自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(15)
  • 收藏
  • 关注

原创 java heap space内存溢出

报错日志2024-01-26 10:22:00,947 Stage-1 map = 88%, reduce = 9%, Cumulative CPU 5377.77 sec2024-01-26 10:22:01,986 Stage-1 map = 92%, reduce = 9%, Cumulative CPU 5707.94 sec2024-01-26 10:22:03,002 Stage-1 map = 100%, reduce = 100%, Cumulative CPU 5190.8

2024-05-11 10:35:49 914 1

原创 Linux:安装rh-php72

centos-sclo-rh] name=CentOS-7 - SCLo rh baseurl=http://mirror.centos.org/centos/7/sclo/$basearch/rh/ gpgcheck=1 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-SIG-SCLo enabled=1 # 将这一行的值修改为1。说明:我这里是centos-release-scl的问题。文件,并添加4)步骤里面的内容即可。2)如果系统中没有安装。

2023-12-13 11:25:15 768 1

原创 hive:insert into/overwrite插入分区详解

最近在做数据清洗的工作,从ods层到dwd层对数据进行标准化。有多张表需要汇入主题表,因为表中的字段比较多,况且也不统一,需要从指定字段拿数据,并且清洗,最后汇入主题表。PS:又结束了一天忙碌的工作,祝愿大家开心生活每一天。

2023-12-06 18:18:11 1764 1

原创 sqoop导出数据到hive使用desc formatted查询表numRows为0

目前是在做数仓,有个需求就是要展示ods层的总数据量,需要拿到每个表的总行数,如果每张表都要计算的话效率太低,所以想通过表的元数据拿到表的总行数,再做一个累加。analyze table 表名 partition(分区字段) compute statistics;analyze table 表名 compute statistics;

2023-12-06 13:04:58 193 1

原创 Kylin执行cube报错:--hiveconf hive.merge.mapredfiles=false --hiveconf hive.auto.convert.join=true

【代码】Kylin执行cube报错:--hiveconf hive.merge.mapredfiles=false --hiveconf hive.auto.convert.join=true。

2023-11-30 22:22:19 142

原创 sqoop导出数据到hive:Column repeated in partitioning columns

因为我在用sqoop导出到hive时添加了一个分区的字段,而导出的表中刚好存在这个字段,和分区字段冲突,故报此错误。

2023-11-30 15:33:46 87

原创 sqoop导出oracle数据hive报错:java.sql.SQLSyntaxErrorException: ORA-00942: 表或视图不存在

因为在oracle表名都是区分大小写的,默认为大写。恰巧我这边在Oracle中有小写的表名,所以才会出现找不到表的错误。我这里是用的--query的方式,如果是--table也可尝试以上方法,具体我没试过,我想应该是可以的。

2023-11-30 15:22:57 92

原创 sqoop导出数据到hive没有直接类型映射:Hive does not support the SQL type for column GUID

在sqoop中增加--map-column-hive参数如果有多个列在Hive中都没有对应的类型,可以使用逗号分隔的方式指定多个映射关系

2023-11-30 13:58:13 506

原创 HBase:start-hbase.sh启动日志文件冲突

原因:是因为hbase里面的日志文件slf4j-log4j12-1.7.25.jar和其他路径下面的文件有冲突,所以会出现此提示。

2023-11-26 17:17:09 148 1

原创 HBase:执行stop-hbase.sh状态为stopping hbase...

1.关闭zookeeper集群即可:zkServer.sh stop。2.再次停止hbase服务:stop-hbase.sh。

2023-11-26 17:04:57 260 1

原创 Linux:cp与scp使用

在生产环境中一般是不会使用Linux默认22端口号的,大多数都是进行自定义配置,这个命令在生产环境会经常使用。linux默认(22)端口免密登录与指定端口免密登录-CSDN博客。

2023-11-24 17:20:24 138 1

原创 Hadoop:stop-dfs.sh停止服务报错

如果使用的是root用户则会出现以上错误。因为在 Hadoop 的默认配置中,出于安全考虑,不建议或不允许以 root 用户(或任何拥有超级用户权限的账户)来启动或停止 HDFS。这是因为以 root 用户运行服务可能会增加系统安全风险。

2023-11-24 14:56:04 476 1

原创 Linux修改主机名称

说明:修改完主机名称之后要重新打开一个会话(session),才能显示修改后的主机名称。

2023-11-24 13:48:31 151 1

原创 Linux配置hosts映射文件(附加windows)

小编由于今日在做大数据集群搭建,需要多次使用IP来进行访问,故特此记录。

2023-11-23 21:12:25 466

原创 Linux默认(22)端口免密登录与指定端口免密登录

比如说有两台机器A和B,A如果想要免密登录到B,A就需要把自己的公钥发送给B,当A去免密登录B时,B会拿A的公钥去做一个加密发送给A,A要拿自己的私钥才能解密,然后B也会自己进行解密并且和A的解密结果进行比对,结果一致则登录成功,否则失败。ssh-copy-id node1 或 ssh-copy-id -i ~/.ssh/id_rsa.pub -p 2023 node1。ssh-copy-id -i ~/.ssh/id_rsa.pub -p 端口号 用户名@主机名/IP。1)默认(22)端口授权公钥。

2023-11-23 20:35:50 667

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除