- 博客(12)
- 资源 (2)
- 问答 (4)
- 收藏
- 关注
RSS订阅原创 发现了clickhouse的小彩蛋
1月29日这天，使用命令登陆上clickhouse的客户端后：[root@test-bd01 ~]# clickhouse-client --host 192.168.1.1 --port 9000 --user root--password rootClickHouse client version 22.1.3.7 (official build).Connecting to 192.168.1.1:9000 as user root.Connected to ClickHouse server
2022-01-29 15:35:58
631
1
原创 四行命令解决：clickhouse-client的安装
clickhouse-client的安装第一行：yum install yum-utils[root@test-bd01 ]# yum install yum-utilsLoaded plugins: fastestmirrorDetermining fastest mirrors * base: mirrors.aliyun.com * elrepo: hkg.mirror.rackspace.com * extras: mirrors.aliyun.com * updates: mirr
2022-01-27 14:22:05
3792
转载 CDH61.1以上版本的新功能详细介绍
CDH61.1以上版本的新功能详细介绍：内容篇幅较多一.CDH6.1有哪些新功能？二.CDH免费版限制多少个节点？三.CDH6.1有哪些细粒度权限？从CDH6.0到CDH6.1是一次minor version的更新，但更新内容较多，在开始接下来的细化功能讨论前，我们先看看几项重点更新的内容：1.组件版本：Kafka 2.0, Spark 2.4, HBase 2.1.1, Accumulo 1.9.2, SOLR 7.42.CDH免费版限制100个节点内3.HDFS的纠删码完全支持，包括Hiv
2022-01-14 14:04:18
2005
原创 配置shell脚本定期清理集群日志和监控数据，并对清理完Cloudera Management Service的监控数据后的问题解决
配置shell脚本定期清理集群日志和监控数据，并对清理完Cloudera Management Service的监控数据后的问题解决清理日志和监控数据的shell脚本#配置shell自动删除#!/bin/bash# 清理日志cd /var/log/hadoop-mapreducerm -rf *.out.* rm -rf *.log.*cd /var/log/hadoop-hdfsrm -rf *.out.* rm -rf *.log.*cd /var/log/zookeeperrm
2022-01-11 14:37:21
1446
原创 CM-server故障挂掉问题排查和解决
CM-server故障挂掉问题排查和解决一、问题描述：1、cloudera-manager管理界面无法登陆，无法操作集群由cloudera-manager来进行管理2、查看azkaban时却是正常的，任务也正常调度和执行3、查看生成的结果数据是正常的说明程序执行正常，hdfs，hive等hadoop内部没有故障，整个集群正常在运行，只是管理和监控集群的CM故障了。二、针对问题进一步排查：1、通过命令service cloudera-scm-server status查看主节点scm是否正常运
2022-01-11 09:43:20
2147
转载 最近自己安装CDH5.X版本时发现，CM包和parcels包无法下载了。
最近自己安装CDH5.X版本时发现，CM包和parcels包无法下载了。登录Cloudera官方发现需要订阅，官网：早在之前就听说cloudera manager 6.3.3和 CDH 6.3.3以后再无免费社区版本，没想到旧版本也不让玩了！！！从2021年1月31日开始，所有Cloudera软件都需要有效的订阅，并且只能通过付费墙进行访问。现在下载需要用户名和密码(可能这个用户名和密码需要付费才能有哦)，点击CDH5.X当你按照之前的下载地址去访问时，例如：https://archive.clou
2021-03-03 16:59:21
2363
5
转载 Flink 开发环境部署和配置
一、Flink 开发环境部署和配置Flink 是一个以 Java 及 Scala 作为开发语言的开源大数据项目，代码开源在 GitHub 上，并使用 Maven 来编译和构建项目。对于大部分使用 Flink 的同学来说，Java、Maven 和 Git 这三个工具是必不可少的，另外一个强大的 IDE 有助于我们更快的阅读代码、开发新功能以及修复 Bug。因为篇幅所限，我们不会详述每个工具的安装细节，但会给出必要的安装建议。关于开发测试环境，Mac OS、Linux 系统或者 Windows 都可以。如果
2020-08-04 15:11:08
2270
转载 Kylin 初体验总结
基础知识OLAP(on-Line AnalysisProcessing)的实现方式ROLAP:基于关系数据库的OLAP实现（Relational OLAP）。ROLAP将多维数据库的多维结构划分为两类表:一类是事实表,用来存储数据和维关键字;另一类是维表,即对每个维至少使用一个表来存放维的层次、成员类别等维的描述信息。维表和事实表通过主关键字和外关键字联系在一起,形成了"星型模式"。对于层次复杂的维,为避免冗余数据占用过大的存储空间,可以使用多个表来描述,这种星型模式的扩展称为"雪花模式"。特点是将细
2020-07-18 09:29:05
280
转载 分布式大数据多维分析（OLAP）引擎Apache Kylin安装配置及使用示例
Apache Kylin是一个开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。kylinKylin OLAP引擎基础框架，包括元数据（Metadata）引擎，查询引擎，Job引擎及存储引擎等，同时包括REST服务器以响应客户端请求；支持额外功能和特性的插件；与调度系统，ETL，监控等生命周期管理系统的整合；在Kylin核心之上扩展的第三方用户界面；官网地址：http:
2020-07-17 11:43:15
371
原创 hive中没有except，那么怎么实现sql中except这个排除功能呢（亲测没问题）
1.Hive Sql 不支持 Except 函数2.我们使用LEFT OUTER JOIN + 字段 IS NULL 来实现，两个表的排除效果3.先建两个表create table person1 (name string,age int)create table person2 (name string,age int)4.插入数据，这里插入的是两个表中有相交的数据insert into table test.person1 values(‘曹操’,20);insert into tabl
2020-05-16 10:23:14
2888
1
原创 自动化安装或部署CentOS系统-无人值守，解决大量服务部署操作系统的痛点
**实现思路、方法：FTP+TFTP+DHCP+Kickstart+PXE**原版（官方）镜像安装完成以后，将系统做成gho系统备份镜像文件。通过网络将gho系统备份镜像分别利用网卡的Mac地址进行ip地址的分配，再分发。概括：从网络引导系统的做法可以不必从硬盘、软盘或者 CD－ROM 光盘，而是完全通过网络来引导一台计算机。这对于安装来说很方便，因为它意味着你可以坐在桌子旁边，不必走到机器那里插入 CD－ROM 光盘或者软盘，就可以从网络上引导位于别处的一台机器。PXE 的作用就像是在网卡上
2020-05-14 15:26:13
532
转载 从hive中导出数据到clickhouse中（亲测可用）
**从hive中导出数据到clickhouse中（亲测可用）**1.准备spark2.4以上，并解压2.准备waterdrop1.4以上，并解压3.vim config/waterdrop-env.sh#指定Spark安装路径SPARK_HOME=${SPARK_HOME:-/usr/local/spark-2.4.3-bin-hadoop2.7}4.把hive/config下的hive-site.xml复制到hadoop的conf目录之下（这步可能不需要）5.把hive/config下的
2020-05-14 14:24:15
3170
2
TA创建的收藏夹 TA关注的收藏夹
TA关注的人