- 博客(15)
- 收藏
- 关注
RSS订阅原创 java heap space内存溢出
报错日志2024-01-26 10:22:00,947 Stage-1 map = 88%, reduce = 9%, Cumulative CPU 5377.77 sec2024-01-26 10:22:01,986 Stage-1 map = 92%, reduce = 9%, Cumulative CPU 5707.94 sec2024-01-26 10:22:03,002 Stage-1 map = 100%, reduce = 100%, Cumulative CPU 5190.8
2024-05-11 10:35:49
915
1
原创 Linux：安装rh-php72
centos-sclo-rh] name=CentOS-7 - SCLo rh baseurl=http://mirror.centos.org/centos/7/sclo/$basearch/rh/ gpgcheck=1 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-SIG-SCLo enabled=1 # 将这一行的值修改为1。说明：我这里是centos-release-scl的问题。文件，并添加4）步骤里面的内容即可。2）如果系统中没有安装。
2023-12-13 11:25:15
819
1
原创 hive：insert into/overwrite插入分区详解
最近在做数据清洗的工作，从ods层到dwd层对数据进行标准化。有多张表需要汇入主题表，因为表中的字段比较多，况且也不统一，需要从指定字段拿数据，并且清洗，最后汇入主题表。PS：又结束了一天忙碌的工作，祝愿大家开心生活每一天。
2023-12-06 18:18:11
1772
1
原创 sqoop导出数据到hive使用desc formatted查询表numRows为0
目前是在做数仓，有个需求就是要展示ods层的总数据量，需要拿到每个表的总行数，如果每张表都要计算的话效率太低，所以想通过表的元数据拿到表的总行数，再做一个累加。analyze table 表名 partition(分区字段) compute statistics;analyze table 表名 compute statistics;
2023-12-06 13:04:58
194
1
原创 Kylin执行cube报错：--hiveconf hive.merge.mapredfiles=false --hiveconf hive.auto.convert.join=true
【代码】Kylin执行cube报错：--hiveconf hive.merge.mapredfiles=false --hiveconf hive.auto.convert.join=true。
2023-11-30 22:22:19
143
原创 sqoop导出数据到hive：Column repeated in partitioning columns
因为我在用sqoop导出到hive时添加了一个分区的字段，而导出的表中刚好存在这个字段，和分区字段冲突，故报此错误。
2023-11-30 15:33:46
90
原创 sqoop导出oracle数据hive报错：java.sql.SQLSyntaxErrorException: ORA-00942: 表或视图不存在
因为在oracle表名都是区分大小写的，默认为大写。恰巧我这边在Oracle中有小写的表名，所以才会出现找不到表的错误。我这里是用的--query的方式，如果是--table也可尝试以上方法，具体我没试过，我想应该是可以的。
2023-11-30 15:22:57
92
原创 sqoop导出数据到hive没有直接类型映射：Hive does not support the SQL type for column GUID
在sqoop中增加--map-column-hive参数如果有多个列在Hive中都没有对应的类型，可以使用逗号分隔的方式指定多个映射关系
2023-11-30 13:58:13
507
原创 HBase：start-hbase.sh启动日志文件冲突
原因：是因为hbase里面的日志文件slf4j-log4j12-1.7.25.jar和其他路径下面的文件有冲突，所以会出现此提示。
2023-11-26 17:17:09
148
1
原创 HBase：执行stop-hbase.sh状态为stopping hbase...
1.关闭zookeeper集群即可：zkServer.sh stop。2.再次停止hbase服务：stop-hbase.sh。
2023-11-26 17:04:57
260
1
原创 Linux：cp与scp使用
在生产环境中一般是不会使用Linux默认22端口号的，大多数都是进行自定义配置，这个命令在生产环境会经常使用。linux默认(22)端口免密登录与指定端口免密登录-CSDN博客。
2023-11-24 17:20:24
138
1
原创 Hadoop：stop-dfs.sh停止服务报错
如果使用的是root用户则会出现以上错误。因为在 Hadoop 的默认配置中，出于安全考虑，不建议或不允许以 root 用户（或任何拥有超级用户权限的账户）来启动或停止 HDFS。这是因为以 root 用户运行服务可能会增加系统安全风险。
2023-11-24 14:56:04
476
1
原创 Linux默认(22)端口免密登录与指定端口免密登录
比如说有两台机器A和B，A如果想要免密登录到B，A就需要把自己的公钥发送给B，当A去免密登录B时，B会拿A的公钥去做一个加密发送给A，A要拿自己的私钥才能解密，然后B也会自己进行解密并且和A的解密结果进行比对，结果一致则登录成功，否则失败。ssh-copy-id node1 或 ssh-copy-id -i ~/.ssh/id_rsa.pub -p 2023 node1。ssh-copy-id -i ~/.ssh/id_rsa.pub -p 端口号 用户名@主机名/IP。1）默认(22)端口授权公钥。
2023-11-23 20:35:50
668
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人