- 博客(249)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 dolphinscheduler运维中遇到的问题
使用sql节点时由于dolohin写了hive的预编译，某些时候变量不能正确传入，比如 location ‘xxxxx变量名’,在预编译过程中会直接变成 location‘xxxxx?解决方案: 把sql节点替换成shell节点用hive−e ′...............location‘xxxxx{变量名}’来实现变量传参。需要先上传jar到hdfs，然后加上hdfs://nameservice1/前缀.每个需要动态分区的sql都加上设置非严格模式的前置sql。在最下面的jdbc连接参数里配置。
2022-11-02 14:59:00
1327
原创 Flume运维中遇到的问题
关闭文件异常，同名的文件被不同的flume agent打开，在文件第二次打开后，先前打开的agent拥有的token就失效了，因此无法关闭它，尝试设置以下参数。把 JAVA_OPTS="-Xmx20m" 改为 JAVA_OPTS="-Xmx2048m"修改后，重启flume,生效，flume恢复正常运行。尝试后发现，无效，flume后续依然触发了该报错。重启agent，顺畅running。# source增加配置。# sink增加配置。
2022-11-02 14:45:07
1190
原创 Sqoop运维中遇到的问题
此处可以修改 tmpdir 的属性值，也可以修改 query_cache_limit 的数值，建议使用后者。问题原因：在执行SQL的时候，产生临时数据占满了/tmp磁盘空间。1、，使用SQL改掉默认临时数据地址(tmpdir)2、如果出现以上异常，那只能通过配置文件来修改了。1、Sqoop抽取mysql数据量过大。好了，最后重启MySQL就搞定了。
2022-11-02 14:34:38
402
原创 superset运维中遇到的问题
底层presto日志：java.nio.channels.UnresolvedAddressException: undefine。前期可以使用ip端口直接访问superset，后期解决nginx截断请求的问题（解决有跨域问题）。发现presto日志上没有此SQL，说明还没到presto那步就报错了。结合上面两个原因，初步判定：应该是nginx截断了这个请求。发现页面有err_connection_reset问题。最终换版本也未能行，切换tirno到也不行。仔细查看，superset的日志如下。
2022-11-02 13:54:06
1004
原创 canal运维中遇到的问题
1、在T0~T1的时间内，表结构A发生过增加列的DDL操作，那在处理T0时间段A表的binlog时，拿到的表结构为T1的镜像，就会出现列不匹配的情况. 抛出异常: column size is not match for table: xx , 12 vs 13。删除之后，再重启canal，恢复正常运行。ps:在故障到故障恢复这段时间内的数据变化会丢失，需要手动补充。
2022-11-02 11:25:48
762
原创 hbase的一些优化建议
适用场景：哈希和加盐的适用场景类似，但是由于加盐方法的前缀是随机数，用原rowkey查询时不方便，因此出现了哈希方法，由于哈希是使用各种常见的算法来计算出的前缀，因此哈希既可以使负载分散到整个集群，又可以轻松读取数据。建议越短越好，不要超过 16 个字节，另外，我们目前使用的服务器操作系统都是 64 位系统，内存是按照 8B 对齐的，因此设计 RowKey 时一般做成 8B 的整数倍，如 16B 或者 24B，可以提高寻址效率。适用场景：RowKey尾部的数据却呈现出了良好的随机性。
2022-10-26 16:48:15
880
原创 HBase Region 简介和建议数量&大小
建议分配合理的region数量，根据写请求量的情况，一般20-200个之间，可以提高集群稳定性，排除很多不确定的因素，提升读写性能。所以，如果一个HRegion中Memstore过多，而且大部分都频繁写入数据，每次flush的开销必然会很大，因此我们也建议在进行表设计的时候尽量减少ColumnFamily的个数。如果很多region，它们中Memstore也过多，内存大小触发Region Server级别限制导致flush，就会对用户请求产生较大的影响，可能阻塞该Region Server上的更新操作。
2022-10-26 16:26:40
5168
原创 hbase基础概念和读取写入流程
包含访问HBase的接口，维护着一些Cache来加快对HBase的访问，比如缓存regione的位置信息等；保证任何时候，集群中只有一个master；存贮所有Region的寻址入口Root Region的位置；实时监控Region Server的状态，将Region server的上线和下线信息实时通知给Master；存储Hbase的schema,包括有哪些table，每个table有哪些column family；主要负责Region的分配与重分配；RegionServer的负载均衡；
2022-10-26 16:14:50
1164
原创 CDH配置Kerberos和Sentry详解
Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。1.kinit认证时密码输入正确却提示密码错误。
2022-10-19 14:52:11
2248
2
原创 CDH6.3.2详细安装教程
CDH从6.3.3版开始不再免费，包括之前的安装包都需要会员下载。6.3.2及以下版本可免费使用但无法免费下载，大家如有需要可联系我索取安装包。
2022-10-19 10:46:26
2149
1
原创 hdfs运维中遇到的问题
HDFS在写的时候有设置块大小，默认128M，Distcp 从源集群读文件后写入新集群，默认是使用的MR任务中的dfs.blocksize 128M。4、在distcp写完文件后，会基于块的物理大小做校验，因为该文件在新旧集群中blocksize不一致，因此拆分大小不一致，导致校验失败。常见的网络不通 端口不通 hdfs拿到的主机名无法解析，没有配映射 ，如果双网卡 拿到的ip和能通的ip不一样。用这个命令看下拿到的ip是不是你能通的ip，还有hdfs本身是直接访问ip 还是通过主机名进行访问的。
2022-10-13 14:26:14
1972
1
原创 生产异常 Cause: com.mysql.cj.jdbc.exceptions.MySQLTransactionRollbackException: Lock wait timeout exceed
4、由于是生产，急需处理业务数据，所以临时解决方案，是先kill 掉，未能提交事务的线程，目前的解决方案，就是手动kill掉长期挂起，未提交的事务。
2022-10-11 18:22:06
2933
5
原创 一些nginx生产配置示例
location 转发设置跨域。用nginx设置简单账密校验。普通location转发。不能配置到http模块下。我比较爱用的日志格式。
2022-09-29 17:00:56
318
原创 clickhouse 高可用负载均衡chproxy1.17生产环境配置与使用
的 HTTP 代理和负载平衡器 主要有这几个功能，详细的可以看官网本文提供一些生产环境的例子。官网的例子都比较简单， 也没有相关配置的解释，本文不涉及https部分ClickHouseappserverstats-raw。
2022-08-29 17:41:24
1817
原创 ElasticSearch读写底层原理及性能调优
有很多场景是，我们的 ES 集群占用了多大的 cpu 使用率，该如何调节呢。cpu 使用率高，有可能是写入导致的，也有可能是查询导致的，那要怎么查看呢？可以先通过 GET _nodes/{node}/hot_threads 查看线程栈，查看是哪个线程占用 cpu 高，如果是 elasticsearch[{node}][search][T#10] 则是查询导致的，如果是 elasticsearch[{node}][bulk][T#1] 则是数据写入导致的。...
2022-08-17 18:41:38
319
原创 CDH 运维中遇到的问题
虽然名字是404 其实是权限问题 查一下opt/cloudera/parcel-cache/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.torrent 的权限吧 应该是640 改成644就好了。
2022-08-03 12:25:59
1996
原创 Nifi 1.16.3 集群搭建+kerberos+用户认证
同理有Client/Server这个选项则是使用一个证书颁发机构服务器，该服务器接受来自客户端的证书签名请求，对其进行签名，然后将生成的证书发回。看了一下网上的文档大多数是基于比较早的版本的，把我的经验拿出来分享一下，希望大家少踩坑，另外nifi1.15.3之后的版本都必须加上TLS，如果不需要权限管理的话可以使用1.15.2版本，-C生成适合在指定DN的浏览器中使用的客户端证书里面的都是一些标记配置，按自己需要填写，比如CN=prod。这个名称很重要，是你用来登录的时候使用的域名。.........
2022-07-21 11:36:31
765
原创 dolphinscheduler3.0生产环境搭建+hadoop+kerberos
然后分发到alert-serverapi-servermaster-serverworker-server的conf下直接覆盖原来的就好了，这些配置文件都是一样的。记得把包分发到所有节点的所有服务，alert-serverapi-servermaster-serverworker-server命令只是换换位置，不再赘述。搭完之后应该是访问不了的，因为部署脚本有bug，没有分发mysql包到api-server上。完了就可以stop-allstart-all。...............
2022-07-20 18:25:21
2659
6
原创 Kerberos环境下 命令行连接kafka 和zk
加入kerberos 之后用普通命令行就无法直接操作kafka和zk了 需要增加几个文件首先添加kafka的环境文件 启动producer consumer 需要另外一个文件 然后命令行启动即可连接zk也需要同样的一个配置文件 编写jaas-zk-keytab.conf文件将jaas-zk-keytab.conf加载到环境变量 连接客户端时候一定要用-server参数指定zookeeper节点，不然连接不上不行就也kinit 一下 再连接.........
2022-07-01 11:01:35
2366
原创 Doris 运维中遇到的问题
启动从 FE报错ERROR (UNKNOWN 172.16.99.80_9010_1655969096729(-1)|1) [BDBEnvironment.setup():198] error to open replicated environment. will exit.com.sleepycat.je.EnvironmentFailureException: (JE 7.3.7) Ids: 1 were equal. But names: 172.16.99.79_9010_1655893533
2022-06-23 17:34:28
5595
3
原创 Apache Doris1.0版本集群搭建、负载均衡与参数调优
首先下载包，有源码和预编译两种包 。我这用的预编译下载 | Apache Doris我的架构是3FE+7BE首先操作系统安装要求#设置系统最大打开文件句柄数时钟同步Doris 的元数据要求时间精度要小于5000ms，所以所有集群所有机器要进行时钟同步，避免因为时钟问题引发的元数据不一致导致服务出现异常。#关闭交换分区（swap）Linux交换分区会给Doris带来很严重的性能问题，需要在安装之前禁用交换分区#Liunx文件系统推荐使用ext4文件系统，在安装操作系统的时候，请选择ext4文件系统。
2022-06-23 17:17:53
2934
3
原创 elasticsearch7使用elasticdump将数据导出json文件
调研了一些es的工具，最后选取了esdump，这个最方便测试了一下 ，6版本也可以使用首先安装npm 安装最新版就行了官网：Download | Node.js下载这个包然后安装elasticdumpnpm install elasticdump命令目录在npm文件夹里常用的句子elasticdump - npm这是官网 有更详细的例子......
2022-06-20 18:31:02
1398
原创 MySQL5.6 (5.7-8) 基于shardingsphere5.1.1 Sharding-Proxy模式读写分离
本文基于mysql5.6 ，实际测试中mysql5.7 ，8 配置一致 ，可以通用首先搭建mysql主从，主从由mysql自己管理，这个就不赘述了。。下载 ShardingSphere-Proxy官网地址http://shardingsphere.apache.org/index_zh.html下载跳转https://shardingsphere.apache.org/document/current/cn/downloads/下载MySQL驱动依赖5版本:https://repo1.mave
2022-06-20 18:04:36
773
原创 cdh6.3.2 集成 tez0.9.2，通过hive和hue使用tez引擎
准备工作 tez-0.9.2源码包 mvn安装就不提了protobuf安装安装tez0.9.2 修改几处配置 编译完之后到tez-dist/target 下查看 整合到hdfs hive使用lzo压缩后,解决tez和spark不能用的问题...
2022-06-08 17:52:59
1038
5
原创 Centos7安装PostgreSQL14并配置主从复制
主服务器（读写） 192.168.10.88从服务器（读） 192.168.10.87PostgreSQL14安装无特别说明，只需要在主数据库安装PG即可。安装rpm文件（主从）sudo yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm安装PostgreSQL（主从）sudo ...
2022-05-11 22:00:11
1302
原创 dolphinscheduler运维中遇到的问题
1、ApiExceptionHandler:[45]-创建租户错误java.lang.NullPointerException:null网上的经验比较多了，我这边的情况是进程用脚本没杀干净 始终有残留进程。网上的经验都不管用的可以看看
2022-05-10 21:17:22
2186
原创 Debezium UI 搭建
搭建好了Debezium 之后再搭建一下ui 需要注意的是你的Debezium 版本必须为1.4以上搭建一个UI 并通过 Docker 连接到现有的 Kafka Connect 实例命令很简单docker run -it --rm --name debezium-ui -p 8085:8080 -e KAFKA_CONNECT_URIS=http://connect:8083 debezium/debezium-ui:{debezium-version}http://connect:808
2022-05-05 18:29:08
2627
10
原创 PostgreSQL生产环境参数优化
PostgreSQL生产环境中应该调整的参数max_connections允许的最大客户端连接数。这个参数设置大小和work_mem有一些关系。配置的越高，可能会占用系统更多的内存。通常可以设置数百个连接，如果要使用上千个连接，建议配置连接池来减少开销。shared_buffersPostgreSQL使用自己的缓冲区，也使用Linux操作系统内核缓冲OS Cache。这就说明数据两次存储在内存中，首先是PostgreSQL缓冲区，然后是操作系统内核缓冲区。与其他数据库不同，PostgreSQ
2022-04-15 11:13:32
1544
原创 ldap运维中遇到的问题
1、启动报错main: TLS init def ctx failed: -1这种情况一般是卸载重装里发生的检查一下ldap的配置文件/etc/openldap 一般都是缺少certs文件夹和ldap.conf配置重建一下mkdir -p /etc/openldap/certsbash /usr/libexec/openldap/create-certdb.sh bash /usr/libexec/openldap/generate-server-cert.sh这两个文件没有就
2022-04-11 17:55:49
4673
原创 CDH6.3.2 配置LDAP+kerberos
本文主要记录 cdhhadoop集群集成 ldap 的过程，这里 ldap 安装的是 OpenLDAP 。LDAP 用来做账号管理，Kerberos作为认证。授权一般由Sentry来决定的。集群包括7个节点，每个节点的ip、主机名和部署的组件分配如下： 192.168.0.200 master Kerberos KDC 、OpenLDAP 192.168.0.201 slave1 kerberos client、ldap client 192.168.0.202 s..
2022-04-08 13:02:03
2662
原创 部署gitlab+gitrunner+nexus镜像仓库CI流水线配置
首先安装基础环境 gitlab nexusgit-runner docker mvn javayum -y localinstall gitlab-ce-14.4.2-ce.0.el7.x86_64.rpm下载的时候顺便把runner也下了，不然到时候找对应版本很麻烦安装成功后会出现一个狐狸的头像GitLab安装完成后，修改GitLab的配置文件vi /etc/gitlab/gitlab.rb1、修改external_url 'http://10.17.38.247'（自己...
2022-03-25 19:43:22
4332
原创 cdh6.3.2 hive集成 tez0.9.2
准备工作hadoop版本：3.0.0-cdh6.3.2hive版本：hive-2.1.1linux环境:centos7.6jdk1.8maven-3.6以上protobuf-2.5.0.tar.gz(只能是这个版本,用外网下载Releases · protocolbuffers/protobuf · GitHubtez-0.9.2源码Apache Downloads...
2022-03-22 18:39:56
3304
2
原创 canal1.1.5集群搭建与多数据源配置
canal 安装canal分为两个部分 admin 和serveradmin就是一个web 操作 server是他的真实服务首先安装admin(1) 下载安装包mkdir -pv /usr/local/soft/canaladmincd /usr/local/softwget https://github.com/alibaba/canal/releases/download/canal-1.1.5/canal.admin-1.1.5.tar.gz(2) 解压tar -x
2022-03-22 18:14:19
3470
原创 HBase运维中遇到的问题
在hbase服务级别core-site.xml文件中自定义hadoop.proxyuser.sxappopt.hosts=*,hadoop.proxyuser. sxappopt.groups=*两个参数，保存后重启hbase，修改这两个参数后可能会引起其他的一些组件之间的认证问题。另外提醒大家使用大数据集群的服务器就配上所有的节点。该问题的原因是从源集群复制过来的文件在目标集群上不存在，检查目标集群，可发现目标集群的NameNode上有出现未找到的文件，也就是说文件原来是存在的，但过程中又被删除了。
2022-03-14 15:32:01
8343
原创 nifi1.15.x https 单用户账密登录配置
nifi 1.15.3之后https成为了必选项 ，而且企业环境下也必须配置账密 但是nifi官网的文档写的语焉不详，分享一下避免大家踩坑首先下载nifi对应版本的 tls密钥生成工具Apache NiFi Downloads名字就是nifi-toolkit-xxxx-bin.zip,最好和本体一起下载 。这个工具和本体之间有版本对应关系。并且一些老的版本下不着了 ，小版本差距不大可以用解压后进入文件夹bin/tls-toolkit.sh standalone -C 'CN=test,
2022-03-03 17:05:45
4986
2
原创 CDH6.3.2 hadoop3 配置viewfs实操指南
我们可以通过linkMergeSlash将挂载表的根与另一个文件系统的根合并。在下面的挂载表配置中，ClusterY 的根目录与位于hdfs://nn1-clustery.example.com:8020的根文件系统合并。第一种挂载方式是经典的viewfs挂载方式，viewfs实际上提供了一种映射关系，将一个全局（逻辑）目录映射到某个具体的namenode（物理）目录上。这个集群里的文件夹都来自各个集群或者本身的挂载，虚拟集群本身是没有文件夹的。使用感受会差很多，没有在一个集群里的感觉了。
2022-02-18 19:22:00
1396
原创 CDH6.3.2 hadoop3 配置两个Hadoop集群Kerberos认证跨域互信
两个Hadoop集群开启Kerberos验证后，集群间不能够相互访问，需要实现Kerberos之间的互信，使用Hadoop集群A的客户端访问Hadoop集群B的服务（实质上是使用Kerberos Realm A上的Ticket实现访问Realm B的服务）。先决条件：1）两个集群(IDC.COM和HADOOP.COM)均开启Kerberos认证2）Kerberos的REALM分别设置为IDC.COM和HADOOP.COM步骤如下：1 配置KDC之间的信任ticket实现DIDC.COM和HADO
2022-02-18 19:13:26
2633
libonig.so.2.0.0
2020-09-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人