devops
文章平均质量分 58
Mumunu-
这个作者很懒,什么都没留下…
展开
-
flink-sql-1.15.4配置hive catalog和hbase基于CDH6.3.2和kerberos
使用flink源码重新编译生成flink-sql-connector-hive-2.2.0_2.11,编译之前需要修改flink-sql-connector-hive-2.2.0中的pom文件,将hive-exec的版本改成2.1.1-cdh6.3.2。位置在flink-connectors/flink-sql-connector-hive-2.2.0/flink-sql-connector-hive-2.2.0_2.12-1.15.3.jar。有大佬能解决望赐教。java 我的版本和cdh使用的一致。原创 2023-02-02 15:56:23 · 1209 阅读 · 3 评论 -
CDH6.3生产环境中禁用Kerberos
修改了网上相关文档的一些缺陷,在生产环境中实际使用过通过CM停止集群的所有服务服务停止成功修改Zookeeper的enableSecurity为false(取消勾选)将这项配置取消勾选修改HDFS配置修改Hadoop的安全身份验证第一个选为simple,第二个取消勾选修改DataNode的数据目录权限为755改DataNode服务的端口号,分别修改为50010和50075进入HBase服务修改配置修改HBase的身份验证第一个修改为simple,第二个取消勾选,第三个修改为none4。原创 2023-01-16 17:39:40 · 1050 阅读 · 0 评论 -
kerberos环境下Flink on Yarn集群部署 基于flink1.15.3 hadoop 3.0CDH6.3.2
Flink on Yarn的HA高可用模式,首先依赖于Yarn自身的高可用机制(ResourceManager高可用),并通过Yarn对JobManager进行管理,当JobManager失效时,Yarn将重新启动JobManager。原创 2022-12-09 15:15:47 · 2057 阅读 · 4 评论 -
centos7 服务器查看硬盘是SSD还是HDD
我们可以看到硬盘的参数。这可以可以看到硬盘参数,然后搜索看看磁盘到底是什么就知道了。原创 2022-11-22 17:39:28 · 3127 阅读 · 0 评论 -
Elasticsearch GC优化实践
近期业务查询线上ES集群出现频繁超时告警,尤其是早晨某个时间点固定的报一波超时,从调用链监控上很难看出是什么业务行为导致的。原创 2022-11-22 15:46:56 · 1744 阅读 · 0 评论 -
安装高可用free IPA+CDH6.3.2结合+日常操作
云主机默认不开启IPv6,根据提示,需要在 lo 接口启用IPv6,编辑/etc/sysctl.conf文件,调整或增加: 不然会报下面的错误。访问web之前记得在访问机上面的hosts配一下解析 然后用你的server主机名进行访问。可能会弹好几次输入账号密码,不知道是什么东西 多点击几次取消即可 ,没用的选择。主机名之类的应该在cdh安装的时候就配好了 不再赘述。在网卡配置文件里添加一下freeipa的地址。首先修改一下kerberos的配置文件。在这里输入你配置的账密。在所有客户端服务上运行。原创 2022-11-18 17:34:30 · 1512 阅读 · 0 评论 -
Elasticsearch7.17.5 集群安装部署和部署账密
修改 /etc/security/limits.d/20-nproc.conf。废话不多说 es应该查这文章的都了解,分发节点之类的简单操作就默认大家都会了。修改 /etc/security/limits.conf。重启一下服务器,刷新一下配置。修改/etc/sysctl.conf。原创 2022-11-04 16:16:23 · 1806 阅读 · 0 评论 -
dolphinscheduler运维中遇到的问题
使用sql节点时由于dolohin写了hive的预编译,某些时候变量不能正确传入,比如 location ‘xxxxx变量名’,在预编译过程中会直接变成 location‘xxxxx?解决方案: 把sql节点替换成shell节点用hive−e ′...............location‘xxxxx{变量名}’来实现变量传参。需要先上传jar到hdfs,然后加上hdfs://nameservice1/前缀.每个需要动态分区的sql都加上设置非严格模式的前置sql。在最下面的jdbc连接参数里配置。原创 2022-11-02 14:59:00 · 1132 阅读 · 0 评论 -
Flume运维中遇到的问题
关闭文件异常,同名的文件被不同的flume agent打开,在文件第二次打开后,先前打开的agent拥有的token就失效了,因此无法关闭它,尝试设置以下参数。把 JAVA_OPTS="-Xmx20m" 改为 JAVA_OPTS="-Xmx2048m"修改后,重启flume,生效,flume恢复正常运行。尝试后发现,无效,flume后续依然触发了该报错。重启agent,顺畅running。# source增加配置。# sink增加配置。原创 2022-11-02 14:45:07 · 1031 阅读 · 0 评论 -
superset运维中遇到的问题
底层presto日志:java.nio.channels.UnresolvedAddressException: undefine。前期可以使用ip端口直接访问superset,后期解决nginx截断请求的问题(解决有跨域问题)。发现presto日志上没有此SQL,说明还没到presto那步就报错了。结合上面两个原因,初步判定:应该是nginx截断了这个请求。发现页面有err_connection_reset问题。最终换版本也未能行,切换tirno到也不行。仔细查看,superset的日志如下。原创 2022-11-02 13:54:06 · 797 阅读 · 0 评论 -
canal运维中遇到的问题
1、在T0~T1的时间内,表结构A发生过增加列的DDL操作,那在处理T0时间段A表的binlog时,拿到的表结构为T1的镜像,就会出现列不匹配的情况. 抛出异常: column size is not match for table: xx , 12 vs 13。删除之后,再重启canal,恢复正常运行。ps:在故障到故障恢复这段时间内的数据变化会丢失,需要手动补充。原创 2022-11-02 11:25:48 · 670 阅读 · 0 评论 -
hbase的一些优化建议
适用场景:哈希和加盐的适用场景类似,但是由于加盐方法的前缀是随机数,用原rowkey查询时不方便,因此出现了哈希方法,由于哈希是使用各种常见的算法来计算出的前缀,因此哈希既可以使负载分散到整个集群,又可以轻松读取数据。建议越短越好,不要超过 16 个字节,另外,我们目前使用的服务器操作系统都是 64 位系统,内存是按照 8B 对齐的,因此设计 RowKey 时一般做成 8B 的整数倍,如 16B 或者 24B,可以提高寻址效率。适用场景:RowKey尾部的数据却呈现出了良好的随机性。原创 2022-10-26 16:48:15 · 813 阅读 · 0 评论 -
HBase Region 简介和建议数量&大小
建议分配合理的region数量,根据写请求量的情况,一般20-200个之间,可以提高集群稳定性,排除很多不确定的因素,提升读写性能。所以,如果一个HRegion中Memstore过多,而且大部分都频繁写入数据,每次flush的开销必然会很大,因此我们也建议在进行表设计的时候尽量减少ColumnFamily的个数。如果很多region,它们中Memstore也过多,内存大小触发Region Server级别限制导致flush,就会对用户请求产生较大的影响,可能阻塞该Region Server上的更新操作。原创 2022-10-26 16:26:40 · 4244 阅读 · 0 评论 -
hbase基础概念和读取写入流程
包含访问HBase的接口,维护着一些Cache来加快对HBase的访问,比如缓存regione的位置信息等;保证任何时候,集群中只有一个master;存贮所有Region的寻址入口Root Region的位置;实时监控Region Server的状态,将Region server的上线和下线信息实时通知给Master;存储Hbase的schema,包括有哪些table,每个table有哪些column family;主要负责Region的分配与重分配;RegionServer的负载均衡;原创 2022-10-26 16:14:50 · 1068 阅读 · 0 评论 -
CDH配置Kerberos和Sentry详解
Kerberos是一种计算机网络授权协议,用来在非安全网络中,对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构,并且能够进行相互认证,即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、保护数据完整性等场合,是一种应用对称密钥体制进行密钥管理的系统。1.kinit认证时密码输入正确却提示密码错误。原创 2022-10-19 14:52:11 · 1991 阅读 · 2 评论 -
CDH6.3.2详细安装教程
CDH从6.3.3版开始不再免费,包括之前的安装包都需要会员下载。6.3.2及以下版本可免费使用但无法免费下载,大家如有需要可联系我索取安装包。原创 2022-10-19 10:46:26 · 1816 阅读 · 1 评论 -
hbase常用shell命令
【代码】HBase常用知识。原创 2022-10-13 15:34:35 · 656 阅读 · 0 评论 -
datax运维中遇到的问题
1、HDFS主从切换会导致Datax脚本无法连接HDFS。原创 2022-10-13 15:06:58 · 946 阅读 · 0 评论 -
Hive 运维中遇到的问题
1、hive查询并行度问题开发同事问为什么他的查询都是排队的 第一个完成后才会开始第二个 ,查询文档后找到这样一个参数执行程序初始数spark.dynamicAllocation.initialExecutors刚开始是1 配置了2 之后开发同事反馈第三个开始排队 ,确认配置的有效.........原创 2020-11-11 13:38:15 · 2413 阅读 · 0 评论 -
hdfs运维中遇到的问题
HDFS在写的时候有设置块大小,默认128M,Distcp 从源集群读文件后写入新集群,默认是使用的MR任务中的dfs.blocksize 128M。4、在distcp写完文件后,会基于块的物理大小做校验,因为该文件在新旧集群中blocksize不一致,因此拆分大小不一致,导致校验失败。常见的网络不通 端口不通 hdfs拿到的主机名无法解析,没有配映射 ,如果双网卡 拿到的ip和能通的ip不一样。用这个命令看下拿到的ip是不是你能通的ip,还有hdfs本身是直接访问ip 还是通过主机名进行访问的。原创 2022-10-13 14:26:14 · 1659 阅读 · 1 评论 -
Sqoop运维中遇到的问题
此处可以修改 tmpdir 的属性值,也可以修改 query_cache_limit 的数值,建议使用后者。问题原因:在执行SQL的时候,产生临时数据占满了/tmp磁盘空间。1、,使用SQL改掉默认临时数据地址(tmpdir)2、如果出现以上异常,那只能通过配置文件来修改了。1、Sqoop抽取mysql数据量过大。好了,最后重启MySQL就搞定了。原创 2022-11-02 14:34:38 · 336 阅读 · 0 评论 -
Hive常用参数语句
3.设置map reduce个数。2.union all并发执行。6.设置引擎和指定队列。原创 2022-10-12 11:50:48 · 168 阅读 · 0 评论 -
生产异常 Cause: com.mysql.cj.jdbc.exceptions.MySQLTransactionRollbackException: Lock wait timeout exceed
4、由于是生产,急需处理业务数据,所以临时解决方案,是先kill 掉,未能提交事务的线程,目前的解决方案,就是手动kill掉长期挂起,未提交的事务。原创 2022-10-11 18:22:06 · 2579 阅读 · 5 评论 -
一些nginx生产配置示例
location 转发设置跨域。用nginx设置简单账密校验。普通location转发。不能配置到http模块下。我比较爱用的日志格式。原创 2022-09-29 17:00:56 · 281 阅读 · 0 评论 -
clickhouse 高可用负载均衡chproxy1.17生产环境配置与使用
的 HTTP 代理和负载平衡器 主要有这几个功能,详细的可以看官网本文提供一些生产环境的例子。官网的例子都比较简单, 也没有相关配置的解释,本文不涉及https部分ClickHouseappserverstats-raw。原创 2022-08-29 17:41:24 · 1394 阅读 · 0 评论 -
ElasticSearch读写底层原理及性能调优
有很多场景是,我们的 ES 集群占用了多大的 cpu 使用率,该如何调节呢。cpu 使用率高,有可能是写入导致的,也有可能是查询导致的,那要怎么查看呢?可以先通过 GET _nodes/{node}/hot_threads 查看线程栈,查看是哪个线程占用 cpu 高,如果是 elasticsearch[{node}][search][T#10] 则是查询导致的,如果是 elasticsearch[{node}][bulk][T#1] 则是数据写入导致的。...原创 2022-08-17 18:41:38 · 247 阅读 · 0 评论 -
CDH 运维中遇到的问题
虽然名字是404 其实是权限问题 查一下opt/cloudera/parcel-cache/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.torrent 的权限吧 应该是640 改成644就好了。原创 2022-08-03 12:25:59 · 1684 阅读 · 0 评论 -
clickhouse 运维中遇到的问题
1,Notenoughprivileges.Toexecutethisqueryit'snecessarytohavethegrantMYSQLON*.*(version20.12.3.3(officialbuild))clickhouse 文档里没说 有个隐藏的权限 mysql 用来赋予原创 2020-12-17 18:39:10 · 8628 阅读 · 2 评论 -
Doris 运维中遇到的问题
启动从 FE报错ERROR (UNKNOWN 172.16.99.80_9010_1655969096729(-1)|1) [BDBEnvironment.setup():198] error to open replicated environment. will exit.com.sleepycat.je.EnvironmentFailureException: (JE 7.3.7) Ids: 1 were equal. But names: 172.16.99.79_9010_1655893533原创 2022-06-23 17:34:28 · 4722 阅读 · 3 评论 -
elasticsearch7使用elasticdump将数据导出json文件
调研了一些es的工具,最后选取了esdump,这个最方便测试了一下 ,6版本也可以使用首先安装npm 安装最新版就行了官网:Download | Node.js下载这个包然后安装elasticdumpnpm install elasticdump命令目录在npm文件夹里常用的句子elasticdump - npm这是官网 有更详细的例子......原创 2022-06-20 18:31:02 · 1216 阅读 · 0 评论 -
MySQL5.6 (5.7-8) 基于shardingsphere5.1.1 Sharding-Proxy模式读写分离
本文基于mysql5.6 ,实际测试中mysql5.7 ,8 配置一致 ,可以通用首先搭建mysql主从,主从由mysql自己管理,这个就不赘述了。。下载 ShardingSphere-Proxy官网地址http://shardingsphere.apache.org/index_zh.html下载跳转https://shardingsphere.apache.org/document/current/cn/downloads/下载MySQL驱动依赖5版本:https://repo1.mave原创 2022-06-20 18:04:36 · 674 阅读 · 0 评论 -
Spark运维中遇到的问题
查了一下应该是log的jar包冲突 把hive-jdbc-2.1.1-cdh6.3.2-standalone.jar 这个jar包换了个名字 再运行spark-shell 就可以了。以上提交参数中的--num-executors 40没有生效,executors 大于40并且占满yarn资源,导致后来的yarn任务阻塞。因为spark-shell作为一个与用户交互的命令行,必须将Driver运行在本地,而不是yarn上。其中的参数与提交Spark应用程序到yarn上用法一样。运行成功进入交互页面。原创 2020-08-07 19:12:26 · 3287 阅读 · 0 评论 -
cdh6.3.2 集成 tez0.9.2,通过hive和hue使用tez引擎
准备工作 tez-0.9.2源码包 mvn安装就不提了protobuf安装安装tez0.9.2 修改几处配置 编译完之后到tez-dist/target 下查看 整合到hdfs hive使用lzo压缩后,解决tez和spark不能用的问题...原创 2022-06-08 17:52:59 · 873 阅读 · 5 评论 -
Centos7安装PostgreSQL14并配置主从复制
主服务器(读写) 192.168.10.88从服务器(读) 192.168.10.87PostgreSQL14安装无特别说明,只需要在主数据库安装PG即可。安装rpm文件(主从)sudo yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm安装PostgreSQL(主从)sudo ...原创 2022-05-11 22:00:11 · 1185 阅读 · 0 评论 -
dolphinscheduler运维中遇到的问题
1、ApiExceptionHandler:[45]-创建租户错误java.lang.NullPointerException:null网上的经验比较多了,我这边的情况是进程用脚本没杀干净 始终有残留进程。网上的经验都不管用的可以看看原创 2022-05-10 21:17:22 · 1840 阅读 · 0 评论 -
Debezium UI 搭建
搭建好了Debezium 之后再搭建一下ui 需要注意的是你的Debezium 版本必须为1.4以上搭建一个UI 并通过 Docker 连接到现有的 Kafka Connect 实例命令很简单docker run -it --rm --name debezium-ui -p 8085:8080 -e KAFKA_CONNECT_URIS=http://connect:8083 debezium/debezium-ui:{debezium-version}http://connect:808原创 2022-05-05 18:29:08 · 2384 阅读 · 10 评论 -
PostgreSQL生产环境参数优化
PostgreSQL生产环境中应该调整的参数max_connections允许的最大客户端连接数。这个参数设置大小和work_mem有一些关系。配置的越高,可能会占用系统更多的内存。通常可以设置数百个连接,如果要使用上千个连接,建议配置连接池来减少开销。shared_buffersPostgreSQL使用自己的缓冲区,也使用Linux操作系统内核缓冲OS Cache。这就说明数据两次存储在内存中,首先是PostgreSQL缓冲区,然后是操作系统内核缓冲区。与其他数据库不同,PostgreSQ原创 2022-04-15 11:13:32 · 1278 阅读 · 0 评论 -
ldap运维中遇到的问题
1、启动报错main: TLS init def ctx failed: -1这种情况一般是卸载重装里发生的检查一下ldap的配置文件/etc/openldap 一般都是缺少certs文件夹和ldap.conf配置重建一下mkdir -p /etc/openldap/certsbash /usr/libexec/openldap/create-certdb.sh bash /usr/libexec/openldap/generate-server-cert.sh这两个文件没有就原创 2022-04-11 17:55:49 · 3937 阅读 · 0 评论 -
CDH6.3.2 配置LDAP+kerberos
本文主要记录 cdhhadoop集群集成 ldap 的过程,这里 ldap 安装的是 OpenLDAP 。LDAP 用来做账号管理,Kerberos作为认证。授权一般由Sentry来决定的。集群包括7个节点,每个节点的ip、主机名和部署的组件分配如下: 192.168.0.200 master Kerberos KDC 、OpenLDAP 192.168.0.201 slave1 kerberos client、ldap client 192.168.0.202 s..原创 2022-04-08 13:02:03 · 2476 阅读 · 0 评论 -
部署gitlab+gitrunner+nexus镜像仓库CI流水线配置
首先安装基础环境 gitlab nexusgit-runner docker mvn javayum -y localinstall gitlab-ce-14.4.2-ce.0.el7.x86_64.rpm下载的时候顺便把runner也下了,不然到时候找对应版本很麻烦安装成功后会出现一个狐狸的头像GitLab安装完成后,修改GitLab的配置文件vi /etc/gitlab/gitlab.rb1、修改external_url 'http://10.17.38.247'(自己...原创 2022-03-25 19:43:22 · 4032 阅读 · 0 评论