头顶榴莲树-CSDN博客

原创微众Linkis1.0整合hadoop3启动报错NoSuchMethodError: org.eclipse.jetty.server...getSessionManager()解决

在这里记录下微众Linkis1.0.0在与Hadoop3.1.1整合时产生的依赖问题，编译没问题，但是在安装完后启动微服务linkis-ps-publicservic时报错，我们看下具体错误：2021-07-23 13:20:39.532 [INFO ] [main ] o.s.c.s.PostProcessorRegistrationDelegate$BeanPostProcessorChecker (335) [postProc

2021-07-23 14:21:32 1449 1

原创 hiveserver2日志配置

刚安装的hive需要到将conf/hive-log4j2.properties.template文件更名为hive-log4j2.properties，并将其内容中的property.hive.log.dir配置项设置为正确的日志路径，这样开启hiveserver2后就会在该路径下看到启动日志

2021-06-30 11:10:04 2435

原创记录一次HDFS JN迁移异常处理

集群环境为CDH6.3.2，现需要将hdfs三个jn中的其中一个迁移到其他节点，当正在CDH管理端操作jn迁移时，误删了目标jn节点上迁移任务刚自动创建的jn数据目录，之后产生了一系列问题，先看下误删jn数据目录后的jn报错日志：2021-06-19 11:43:09,759 INFO org.apache.hadoop.hdfs.qjournal.server.JournalNode: STARTUP_MSG:/*******************************************

2021-06-25 09:54:56 1620

原创 CDH完全卸载教程

适用于各版本CDH卸载1、停止集群

2021-06-18 13:34:05 6215

原创滴滴Logi-KafkaManager对接夜莺实现告警配置

滴滴Logi-KafkaManager对接夜莺实现告警配置前言我当前用的kafkaManager是2.0.0版本，对接的夜莺是3.0版。kafkaManager对接夜莺告警功能原理很简单，kafkaManager会与夜莺的monapi、transfer、rdb等服务模块通信，实现监控数据上报、获取团队信息等，这样在kafkaManager的监控告警页面就可以配置告警规则，选择告警通知对象等来实现告警配置，下面是具体配置步骤：1、修改kafkaManager的application.yml文件文件位置

2021-04-16 09:55:55 1472 1

原创滴滴夜莺分布式部署方案

我们的规划是在三台服务器上部署夜莺主要的服务组件以及redis和nginx，并在所有要监控的服务器上部署夜莺的agent服务，agent服务将用来收集要监控的服务器数据，并将数据发送到夜莺的主要服务端用作监控告警，下面表格是我们在三个节点上的部署的夜莺主要服务组件和相关依赖服务：集群节点规划节点 monapi transfer job ams index judge rdb tsdb redis nginx mysql node0

2021-02-04 10:50:54 1616 2

原创 Filebeat+Logstash+Elasticsearch收集spark日志分析

数据流程图如下：一、配置Filebeat编辑filebeat.yml文件,内容如下：# ====================== 输入 ===============================filebeat.inputs:- type: log enabled: true paths: - /data/log/hadoop-yarn/hadoop-cmf-yarn-NODEMANAGER*.out - /data/yarn/container-logs...

2021-02-02 18:00:20 702

原创 kafka+kerberos认证后生产消费问题

前提：操作机已经通过kinit -kt方式认证一、生产者1、创建jaas.conf，向其添加内容：KafkaClient{com.sun.security.auth.module.Krb5LoginModule requireduseTicketCache=true;};2、将jaas.conf添加到环境变量export KAFKA_OPTS="-Djava.security.auth.login.config=/home/klapp/jaas.conf"3、创建生产者配置文件produce

2020-12-18 10:27:19 1898 1

原创 HPLSQL连接Hive(Kerberos认证)指南

1、下载hplsql安装包：地址：http://www.hplsql.org/download ，当前测试环境CDH为6.3版本，选择下载0.3.17版的就可以2、解压到某路径下，参考官网就行3、配置hplsql-site.xml主要改下hive2的jdbc连接参数:<property> <name>hplsql.conn.hive2conn</name> <value>org.apache.hive.jdbc.HiveDriver;jdbc:hiv

2020-12-18 10:24:48 647 1

原创 Hive+Zookeeper+Kerberos配置HA方法

一般在cdh上配置，如图：具体的几个配置项如下：hive.server2.support.dynamic.service.discovery=truehive.server2.zookeeper.namespace=hiveserver2_zkhive.zookeeper.quorum=test-hadoop-pc06:2181,test-hadoop-pc07:2181,test-hadoop-pc08:2181hive.zookeeper.client.port=2181hive.serv.

2020-12-18 10:20:31 2301

原创滴滴kafka-manager监控CDH版kafka(带kerberos认证)

对于CDH环境的kafka，并且带有kerberos认证的，部署kafka-manager时需要注意两点：1、接入集群要用的安全协议配置这里直接给个模板：{ "security.protocol":"SASL_PLAINTEXT", "sasl.mechanism":"GSSAPI", "sasl.kerberos.service.name":"kafka", "sasl.jaas.config":"com.sun.security.auth.module.Krb5LoginMo...

2020-12-18 10:11:58 1051 4

原创 refreshUserToGroupsMappings: FileSystem file:/// is not an HDFS file

我们当前大数据集群环境为CDH6.3，集群中有台主机没有分配任何服务，在该机器上执行命令hdfs dfsadmin报错：[root@prod-bigdata-pc16 ~]# hdfs dfsadmin -refreshUserToGroupsMappings refreshUserToGroupsMappings: FileSystem file:/// is not an HDFS file system Usage: hdfs dfsadmin [-refreshUserToGroupsMapping

2020-11-24 09:42:02 1727 1

原创 Spark通过jdbc方式读写ClickHouse

现在是2020年9月，由于目前还没有Spark整合ClickHouse的连接器，所以通过spark读写ClickHouse的方式只能是jdbc了，另外github上有个连接器，需要自己打包发布，感兴趣的可以研究下，地址https://github.com/wangxiaojing/spark-clickhouse以下是spark读写clickHouse的代码：/* 读取 */ def select(spark:SparkSession): Unit ={ spark.read

2020-09-11 19:03:31 5178 9

原创 Ext-2.2的下载链接

http://archive.cloudera.com/gplextras/misc/ext-2.2.zip

2020-07-26 17:29:29 349

原创 windows+IDEA+sbt配置国内镜像

IDEA自带的SBT默认根目录是用户目录下的.sbt，比如我的是C:\Users\lixz\.sbt，在.sbt目录下创建名为repositories的文件该文件输入如下内容：[repositories] local aliyun: https://maven.aliyun.com/nexus/content/groups/public/ central: https://repo1.maven.org然后保存即可，接下来在IDEA中重新加载依赖就可以使用上面repositories...

2020-06-22 09:39:14 1325

原创 Flink接收Kafka中的Avro序列化消息

在Flink官网中可以看到flink接收kafka数据的简单示例程序Properties properties = new Properties();properties.setProperty("bootstrap.servers", "localhost:9092");// only required for Kafka 0.8properties.setProperty("zoo...

2020-01-09 11:53:54 5355 9

原创 Flink写入Redis的两种方式

1、使用flink提供的RedisSink(1)添加maven依赖<dependency> <groupId>org.apache.bahir</groupId> <artifactId>flink-connector-redis_2.11</artifactId> <version>1.1-SNA...

2020-01-09 11:06:06 9791 6

原创 npm install 报错解决

npm安装cnpm时报各种关于package.json的解析错误，经过多次使用'npm cache clean --force'命令清除缓存再安装后最终报如下错误：npm ERR! code EINTEGRITYnpm ERR! sha1-wgdX/nLucSeOoP89h+XCyjDZ7fg= integrity checksum failed when using sha1: wanted ...

2018-03-11 09:21:38 108325 7

原创 npm WARN saveError ENOENT: no such file or directory解决

安装完成node.js后使用npm安装vue报错如下：C:\Users\lxz>npm uninstall vueWcspnpm WARN saveError ENOENT: no such file or directory, open 'C:\Users\lxz\package.json'npm WARN enoent ENOENT: no such file or director...

2018-03-10 23:03:10 103132 2

原创 Windows下的Django安装

安装前首先确定已正确安装python，然后进入Django官网按照说明下载相应文件安装即可，官网提供了两种安装方式。方式一：使用pip安装使用pip安装Django比较方便，pip安装步骤如下：1、https://pypi.python.org/pypi/pip#downloads下载pip-9.0.1.tar.gz ，将该压缩包解压到某个目录，在cmd中切换到目录下，执行命令：p

2018-01-22 22:28:54 301

Flink实战项目（保险行业真实项目）

架构：flink+hbase+kafka+phoenix 项目功能：实时同步业务系统数据库数据，并做实时统计报表分析另外我提供Flink答疑服务，帮助大家快速理解项目和Flink入门，如有需要可添加微信：z1224576376，添加时请备注“flink”

2022-06-10

CDH6.3.2安装包下载

由于CSDN上传文件大小限制，大家可以下载《CDH6.3.2下载.txt》获取网盘地址进行下载，我打包了CDH6.3.2 搭建所需要的各种安装文件，包括： manifest.json cloudera-manager.repo RPM-GPG-KEY-cloudera cm6.3.1-redhat7.tar.gz CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256 安装教程可参考： https://blog.csdn.net/qq_32068809/article/details/113564729?spm=1001.2014.3001.5502

2022-06-10

CDH6.3.3安装bao下载

文件： cm6.3.3-redhat7.tar.gz cloudera-manager.repo RPM-GPG-KEY-cloudera CDH-6.3.3-1.cdh6.3.3.p0.1796617-el7.parcel CDH-6.3.3-1.cdh6.3.3.p0.1796617-el7.parcel.sha1 CDH-6.3.3-1.cdh6.3.3.p0.1796617-el7.parcel.sha256 如遇技术问题可添加微信咨询：15854186970

2021-03-11

Flink Phoenix connector依赖包

flink sql读写phoenix所使用到的连接器依赖包： flink-sql-connector-phoenix-1.14-1.0.jar 使用示例： create table tab2( ID STRING, NAME STRING, PRIMARY KEY (ID) NOT ENFORCED )WITH( 'connector' = 'phoenix-jdbc', 'driver'='org.apache.phoenix.jdbc.PhoenixDriver', 'org.apache.flink.connector.phoenix.schema.isNamespaceMappingEnabled'='true', 'org.apache.flink.connector.phoenix.schema.mapSystemTablesToNamespace'='true', 'url' = 'jdbc:phoenix:192.168.71.00:2181/hbase', 'table-name' = 'ODS.TEST1' ) 有问题随时给我私信~

2022-06-02

Flink实战项目（电力行业真实项目）

主要功能是基于Flink从kafka消费数据，并做avro反序列化、解析、统计等，最后结果数据发送到redis或者influxdb(时序数据库)。另外我提供Flink答疑服务，帮助大家快速理解项目和Flink入门，如有需要可添加微信：z1224576376，添加时请备注“flink”

2021-03-18

Spark实战项目（保险行业真实项目）

项目功能：实时同步业务系统数据库数据，并做实时统计报表分析技术栈：Kafka+Spark+Hbase 如需项目讲解可随时私信我

2022-02-25

CDH7.1.5离线安装包下载

CDH7及以上版本已经更名为CDP 本资源打包了CDH7.1.5 搭建所需要的各种安装文件，包括： cm7.2.4-redhat7.tar.gz manifest.json cloudera-manager.repo RPM-GPG-KEY-cloudera CDH-7.1.5-1.cdh7.1.5.p0.7431829-el7.parcel CDH-7.1.5-1.cdh7.1.5.p0.7431829-el7.parcel.sha1 CDH-7.1.5-1.cdh7.1.5.p0.7431829-el7.parcel.sha256 安装教程可参考我的博客： https://blog.csdn.net/qq_32068809/article/details/113564729?spm=1001.2014.3001.5502 注意，CDP7不提供免费版（可以试用），如果没有购买CDP授权请谨慎下载本资源，CDH免费版本最高支持到6.3.2，大家可以前往这个链接下载：https://download.csdn.net/download/qq_32068809/15865504 任何问题可添加微信咨询：15854186970

2021-03-22

TA关注的人

qq_32068809的博客