hadoop
文章平均质量分 69
Mumunu-
这个作者很懒,什么都没留下…
展开
-
深入理解Kafka3.6.0的核心概念,搭建与使用
Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编写,kafka部署包“kafka_2.13-3.6.0”前面的2.13就是scala的版本。原创 2023-11-13 16:33:52 · 2193 阅读 · 0 评论 -
kerberos环境下parcel方式部署flink1.15.3 基于CDH6.3.2 Flink on Yarn
使用时先启动yarn-session,然后再提交job,每次提交job,也都会分配一个JobManager。Application模式:简答的说就是直接run job,每次提交的任务Yarn都会分配一个JobManager,执行完之后整个资源会释放,包括JobManager和TaskManager。如果没有看到flink的组件,可以通过重启一下cdh,我之前就试过,flink分配、激活成功后,没有看见flink组件的图标,可以通过重启CDH服务,Session模式适合比较小的任务、执行时间比较短的任务。原创 2023-01-31 15:03:24 · 1860 阅读 · 0 评论 -
CDH6.3生产环境中禁用Kerberos
修改了网上相关文档的一些缺陷,在生产环境中实际使用过通过CM停止集群的所有服务服务停止成功修改Zookeeper的enableSecurity为false(取消勾选)将这项配置取消勾选修改HDFS配置修改Hadoop的安全身份验证第一个选为simple,第二个取消勾选修改DataNode的数据目录权限为755改DataNode服务的端口号,分别修改为50010和50075进入HBase服务修改配置修改HBase的身份验证第一个修改为simple,第二个取消勾选,第三个修改为none4。原创 2023-01-16 17:39:40 · 1088 阅读 · 0 评论 -
kerberos环境下Flink on Yarn集群部署 基于flink1.15.3 hadoop 3.0CDH6.3.2
Flink on Yarn的HA高可用模式,首先依赖于Yarn自身的高可用机制(ResourceManager高可用),并通过Yarn对JobManager进行管理,当JobManager失效时,Yarn将重新启动JobManager。原创 2022-12-09 15:15:47 · 2154 阅读 · 4 评论 -
安装高可用free IPA+CDH6.3.2结合+日常操作
云主机默认不开启IPv6,根据提示,需要在 lo 接口启用IPv6,编辑/etc/sysctl.conf文件,调整或增加: 不然会报下面的错误。访问web之前记得在访问机上面的hosts配一下解析 然后用你的server主机名进行访问。可能会弹好几次输入账号密码,不知道是什么东西 多点击几次取消即可 ,没用的选择。主机名之类的应该在cdh安装的时候就配好了 不再赘述。在网卡配置文件里添加一下freeipa的地址。首先修改一下kerberos的配置文件。在这里输入你配置的账密。在所有客户端服务上运行。原创 2022-11-18 17:34:30 · 1590 阅读 · 0 评论 -
dolphinscheduler运维中遇到的问题
使用sql节点时由于dolohin写了hive的预编译,某些时候变量不能正确传入,比如 location ‘xxxxx变量名’,在预编译过程中会直接变成 location‘xxxxx?解决方案: 把sql节点替换成shell节点用hive−e ′...............location‘xxxxx{变量名}’来实现变量传参。需要先上传jar到hdfs,然后加上hdfs://nameservice1/前缀.每个需要动态分区的sql都加上设置非严格模式的前置sql。在最下面的jdbc连接参数里配置。原创 2022-11-02 14:59:00 · 1182 阅读 · 0 评论 -
Flume运维中遇到的问题
关闭文件异常,同名的文件被不同的flume agent打开,在文件第二次打开后,先前打开的agent拥有的token就失效了,因此无法关闭它,尝试设置以下参数。把 JAVA_OPTS="-Xmx20m" 改为 JAVA_OPTS="-Xmx2048m"修改后,重启flume,生效,flume恢复正常运行。尝试后发现,无效,flume后续依然触发了该报错。重启agent,顺畅running。# source增加配置。# sink增加配置。原创 2022-11-02 14:45:07 · 1079 阅读 · 0 评论 -
superset运维中遇到的问题
底层presto日志:java.nio.channels.UnresolvedAddressException: undefine。前期可以使用ip端口直接访问superset,后期解决nginx截断请求的问题(解决有跨域问题)。发现presto日志上没有此SQL,说明还没到presto那步就报错了。结合上面两个原因,初步判定:应该是nginx截断了这个请求。发现页面有err_connection_reset问题。最终换版本也未能行,切换tirno到也不行。仔细查看,superset的日志如下。原创 2022-11-02 13:54:06 · 866 阅读 · 0 评论 -
canal运维中遇到的问题
1、在T0~T1的时间内,表结构A发生过增加列的DDL操作,那在处理T0时间段A表的binlog时,拿到的表结构为T1的镜像,就会出现列不匹配的情况. 抛出异常: column size is not match for table: xx , 12 vs 13。删除之后,再重启canal,恢复正常运行。ps:在故障到故障恢复这段时间内的数据变化会丢失,需要手动补充。原创 2022-11-02 11:25:48 · 702 阅读 · 0 评论 -
hbase的一些优化建议
适用场景:哈希和加盐的适用场景类似,但是由于加盐方法的前缀是随机数,用原rowkey查询时不方便,因此出现了哈希方法,由于哈希是使用各种常见的算法来计算出的前缀,因此哈希既可以使负载分散到整个集群,又可以轻松读取数据。建议越短越好,不要超过 16 个字节,另外,我们目前使用的服务器操作系统都是 64 位系统,内存是按照 8B 对齐的,因此设计 RowKey 时一般做成 8B 的整数倍,如 16B 或者 24B,可以提高寻址效率。适用场景:RowKey尾部的数据却呈现出了良好的随机性。原创 2022-10-26 16:48:15 · 843 阅读 · 0 评论 -
HBase Region 简介和建议数量&大小
建议分配合理的region数量,根据写请求量的情况,一般20-200个之间,可以提高集群稳定性,排除很多不确定的因素,提升读写性能。所以,如果一个HRegion中Memstore过多,而且大部分都频繁写入数据,每次flush的开销必然会很大,因此我们也建议在进行表设计的时候尽量减少ColumnFamily的个数。如果很多region,它们中Memstore也过多,内存大小触发Region Server级别限制导致flush,就会对用户请求产生较大的影响,可能阻塞该Region Server上的更新操作。原创 2022-10-26 16:26:40 · 4616 阅读 · 0 评论 -
hbase基础概念和读取写入流程
包含访问HBase的接口,维护着一些Cache来加快对HBase的访问,比如缓存regione的位置信息等;保证任何时候,集群中只有一个master;存贮所有Region的寻址入口Root Region的位置;实时监控Region Server的状态,将Region server的上线和下线信息实时通知给Master;存储Hbase的schema,包括有哪些table,每个table有哪些column family;主要负责Region的分配与重分配;RegionServer的负载均衡;原创 2022-10-26 16:14:50 · 1107 阅读 · 0 评论 -
CDH配置Kerberos和Sentry详解
Kerberos是一种计算机网络授权协议,用来在非安全网络中,对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构,并且能够进行相互认证,即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、保护数据完整性等场合,是一种应用对称密钥体制进行密钥管理的系统。1.kinit认证时密码输入正确却提示密码错误。原创 2022-10-19 14:52:11 · 2125 阅读 · 2 评论 -
CDH6.3.2详细安装教程
CDH从6.3.3版开始不再免费,包括之前的安装包都需要会员下载。6.3.2及以下版本可免费使用但无法免费下载,大家如有需要可联系我索取安装包。原创 2022-10-19 10:46:26 · 1957 阅读 · 1 评论 -
hbase常用shell命令
【代码】HBase常用知识。原创 2022-10-13 15:34:35 · 1007 阅读 · 0 评论 -
datax运维中遇到的问题
1、HDFS主从切换会导致Datax脚本无法连接HDFS。原创 2022-10-13 15:06:58 · 1003 阅读 · 0 评论 -
hdfs运维中遇到的问题
HDFS在写的时候有设置块大小,默认128M,Distcp 从源集群读文件后写入新集群,默认是使用的MR任务中的dfs.blocksize 128M。4、在distcp写完文件后,会基于块的物理大小做校验,因为该文件在新旧集群中blocksize不一致,因此拆分大小不一致,导致校验失败。常见的网络不通 端口不通 hdfs拿到的主机名无法解析,没有配映射 ,如果双网卡 拿到的ip和能通的ip不一样。用这个命令看下拿到的ip是不是你能通的ip,还有hdfs本身是直接访问ip 还是通过主机名进行访问的。原创 2022-10-13 14:26:14 · 1752 阅读 · 1 评论 -
Sqoop运维中遇到的问题
此处可以修改 tmpdir 的属性值,也可以修改 query_cache_limit 的数值,建议使用后者。问题原因:在执行SQL的时候,产生临时数据占满了/tmp磁盘空间。1、,使用SQL改掉默认临时数据地址(tmpdir)2、如果出现以上异常,那只能通过配置文件来修改了。1、Sqoop抽取mysql数据量过大。好了,最后重启MySQL就搞定了。原创 2022-11-02 14:34:38 · 356 阅读 · 0 评论 -
clickhouse 高可用负载均衡chproxy1.17生产环境配置与使用
的 HTTP 代理和负载平衡器 主要有这几个功能,详细的可以看官网本文提供一些生产环境的例子。官网的例子都比较简单, 也没有相关配置的解释,本文不涉及https部分ClickHouseappserverstats-raw。原创 2022-08-29 17:41:24 · 1506 阅读 · 0 评论 -
CDH 运维中遇到的问题
虽然名字是404 其实是权限问题 查一下opt/cloudera/parcel-cache/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.torrent 的权限吧 应该是640 改成644就好了。原创 2022-08-03 12:25:59 · 1804 阅读 · 0 评论 -
Nifi 1.16.3 集群搭建+kerberos+用户认证
同理有Client/Server这个选项则是使用一个证书颁发机构服务器,该服务器接受来自客户端的证书签名请求,对其进行签名,然后将生成的证书发回。看了一下网上的文档大多数是基于比较早的版本的,把我的经验拿出来分享一下,希望大家少踩坑,另外nifi1.15.3之后的版本都必须加上TLS,如果不需要权限管理的话可以使用1.15.2版本,-C生成适合在指定DN的浏览器中使用的客户端证书里面的都是一些标记配置,按自己需要填写,比如CN=prod。这个名称很重要,是你用来登录的时候使用的域名。.........原创 2022-07-21 11:36:31 · 696 阅读 · 0 评论 -
dolphinscheduler3.0生产环境搭建+hadoop+kerberos
然后分发到alert-serverapi-servermaster-serverworker-server的conf下直接覆盖原来的就好了,这些配置文件都是一样的。记得把包分发到所有节点的所有服务,alert-serverapi-servermaster-serverworker-server命令只是换换位置,不再赘述。搭完之后应该是访问不了的,因为部署脚本有bug,没有分发mysql包到api-server上。完了就可以stop-allstart-all。...............原创 2022-07-20 18:25:21 · 2546 阅读 · 6 评论 -
Kerberos环境下 命令行连接kafka 和zk
加入kerberos 之后用普通命令行就无法直接操作kafka和zk了 需要增加几个文件首先添加kafka的环境文件 启动producer consumer 需要另外一个文件 然后命令行启动即可连接zk也需要同样的一个配置文件 编写jaas-zk-keytab.conf文件将jaas-zk-keytab.conf加载到环境变量 连接客户端时候一定要用-server参数指定zookeeper节点,不然连接不上不行就也kinit 一下 再连接.........原创 2022-07-01 11:01:35 · 2108 阅读 · 0 评论 -
Doris 运维中遇到的问题
启动从 FE报错ERROR (UNKNOWN 172.16.99.80_9010_1655969096729(-1)|1) [BDBEnvironment.setup():198] error to open replicated environment. will exit.com.sleepycat.je.EnvironmentFailureException: (JE 7.3.7) Ids: 1 were equal. But names: 172.16.99.79_9010_1655893533原创 2022-06-23 17:34:28 · 5038 阅读 · 3 评论 -
Apache Doris1.0版本集群搭建、负载均衡与参数调优
首先下载包,有源码和预编译两种包 。我这用的预编译下载 | Apache Doris我的架构是3FE+7BE首先操作系统安装要求#设置系统最大打开文件句柄数时钟同步Doris 的元数据要求时间精度要小于5000ms,所以所有集群所有机器要进行时钟同步,避免因为时钟问题引发的元数据不一致导致服务出现异常。#关闭交换分区(swap)Linux交换分区会给Doris带来很严重的性能问题,需要在安装之前禁用交换分区#Liunx文件系统推荐使用ext4文件系统,在安装操作系统的时候,请选择ext4文件系统。原创 2022-06-23 17:17:53 · 2748 阅读 · 1 评论 -
cdh6.3.2 集成 tez0.9.2,通过hive和hue使用tez引擎
准备工作 tez-0.9.2源码包 mvn安装就不提了protobuf安装安装tez0.9.2 修改几处配置 编译完之后到tez-dist/target 下查看 整合到hdfs hive使用lzo压缩后,解决tez和spark不能用的问题...原创 2022-06-08 17:52:59 · 918 阅读 · 5 评论 -
CDH6.3.2 配置LDAP+kerberos
本文主要记录 cdhhadoop集群集成 ldap 的过程,这里 ldap 安装的是 OpenLDAP 。LDAP 用来做账号管理,Kerberos作为认证。授权一般由Sentry来决定的。集群包括7个节点,每个节点的ip、主机名和部署的组件分配如下: 192.168.0.200 master Kerberos KDC 、OpenLDAP 192.168.0.201 slave1 kerberos client、ldap client 192.168.0.202 s..原创 2022-04-08 13:02:03 · 2521 阅读 · 0 评论 -
cdh6.3.2 hive集成 tez0.9.2
准备工作hadoop版本:3.0.0-cdh6.3.2hive版本:hive-2.1.1linux环境:centos7.6jdk1.8maven-3.6以上protobuf-2.5.0.tar.gz(只能是这个版本,用外网下载Releases · protocolbuffers/protobuf · GitHubtez-0.9.2源码Apache Downloads...原创 2022-03-22 18:39:56 · 3266 阅读 · 2 评论 -
HBase运维中遇到的问题
在hbase服务级别core-site.xml文件中自定义hadoop.proxyuser.sxappopt.hosts=*,hadoop.proxyuser. sxappopt.groups=*两个参数,保存后重启hbase,修改这两个参数后可能会引起其他的一些组件之间的认证问题。另外提醒大家使用大数据集群的服务器就配上所有的节点。该问题的原因是从源集群复制过来的文件在目标集群上不存在,检查目标集群,可发现目标集群的NameNode上有出现未找到的文件,也就是说文件原来是存在的,但过程中又被删除了。原创 2022-03-14 15:32:01 · 7797 阅读 · 0 评论 -
nifi1.15.x https 单用户账密登录配置
nifi 1.15.3之后https成为了必选项 ,而且企业环境下也必须配置账密 但是nifi官网的文档写的语焉不详,分享一下避免大家踩坑首先下载nifi对应版本的 tls密钥生成工具Apache NiFi Downloads名字就是nifi-toolkit-xxxx-bin.zip,最好和本体一起下载 。这个工具和本体之间有版本对应关系。并且一些老的版本下不着了 ,小版本差距不大可以用解压后进入文件夹bin/tls-toolkit.sh standalone -C 'CN=test,原创 2022-03-03 17:05:45 · 4617 阅读 · 2 评论 -
CDH6.3.2 hadoop3 配置viewfs实操指南
我们可以通过linkMergeSlash将挂载表的根与另一个文件系统的根合并。在下面的挂载表配置中,ClusterY 的根目录与位于hdfs://nn1-clustery.example.com:8020的根文件系统合并。第一种挂载方式是经典的viewfs挂载方式,viewfs实际上提供了一种映射关系,将一个全局(逻辑)目录映射到某个具体的namenode(物理)目录上。这个集群里的文件夹都来自各个集群或者本身的挂载,虚拟集群本身是没有文件夹的。使用感受会差很多,没有在一个集群里的感觉了。原创 2022-02-18 19:22:00 · 1324 阅读 · 0 评论 -
CDH6.3.2 hadoop3 配置两个Hadoop集群Kerberos认证跨域互信
两个Hadoop集群开启Kerberos验证后,集群间不能够相互访问,需要实现Kerberos之间的互信,使用Hadoop集群A的客户端访问Hadoop集群B的服务(实质上是使用Kerberos Realm A上的Ticket实现访问Realm B的服务)。先决条件:1)两个集群(IDC.COM和HADOOP.COM)均开启Kerberos认证2)Kerberos的REALM分别设置为IDC.COM和HADOOP.COM步骤如下:1 配置KDC之间的信任ticket实现DIDC.COM和HADO原创 2022-02-18 19:13:26 · 2432 阅读 · 0 评论 -
dolphinscheduler2.0.3搭建+Kerberos+hadoop结合
dolphinscheduler官网只是给出了搭建方式 具体使用中需要和hdfs结合的话需要配置更多参数如果配置了数据目录不会自动创建,记得自己手动创建一下例子data.basedir.path=/data/dsdata搭建完成之后的配置存放在 conf下的 common.properties 中 初步搭建完成之后可以修改这里的配置来进行调整跟hadoop有关需要调整的配置有下面几个不配置kerberos的话只需要这几个# resource storage type: HDF原创 2022-01-29 18:01:26 · 2967 阅读 · 0 评论 -
presto/trino运维中遇到的问题
底层presto日志:java.nio.channels.UnresolvedAddressException: undefine。1、trino连接带kerberos的hive。这里调用的是cdh的hivekeytab应该。最终换版本也未能行,切换tirno到也不行。这儿就填写 hive/_HOST@你的域。hadoop客户端连接超时问题。3.superset连接。原创 2022-01-28 16:02:31 · 2984 阅读 · 0 评论 -
CDH6.3.2更换主机名HostName
修改HostNamehostname xxx永久修改vim /etc/hostname在该文件中写上hostname名称即可修改/etc/hosts文件vim /etc/hosts在该文件中写上所有节点的ip和hostname,如:10.169.xx.xxx slave01.wc.prod停止大数据服务停掉所有的服务停止cloudera的服务 systemctl stop cloudera-scm-server systemctl stop cloud.原创 2022-01-24 16:26:27 · 1217 阅读 · 0 评论 -
CDH6.3.2Kerberos/普通环境在Hue中集成HBase
HBase Thrift安装Hue中访问HBase是通过HBase Thrift Server服务进行访问,所以第一步,我们需要添加HBase Thrift Server。1.在CM进入HBase组件,点击添加角色实例原创 2022-01-19 15:32:16 · 3063 阅读 · 0 评论 -
Service Monitor启动失败
今天把Service Monitor的文件夹换了 个位子 重启之后启动失败报 org.fusesource.leveldbjni.internal.NativeDB$DBException看起来应该是数据文件损坏了之类的情况 查了一下官方文档如果不需要回滚数据 直接把服务器上的文件夹删除重建就行了删除之 启动成功默认是/var/lib/cloudera-service-monitor...原创 2022-01-18 17:25:14 · 1278 阅读 · 0 评论 -
impala 运维中遇到的问题
该告警是在impala服务比较忙的集群上出现, CM会尝试链接impala 25000端口看网页是不是可用的,检查的超时时间默认为5秒,默认报错的次数是一次。监控状态检查出现上述的告警,它并不代表着该节点impala deamon 的服务不可用,多数情况下是端口繁忙访问超时影响,如果它对你的日常使用造成了困扰,可以通过修改参数进行合理的调整。配置查询超时时间,单位为s,完成以上配置后根据CM提示重启相应服务即可。在此之前的版本,关闭所有查询的唯一解决方法则是重启Hue或Impala服务。原创 2022-01-14 11:38:28 · 3334 阅读 · 0 评论 -
nifi 运维中遇到的问题
1,节点启动失败 报错 Failed to connect node to cluster because local flow is different than cluster flow.org.apache.nifi.controller.UninheritableFlowException: Failed to connect node to cluster because local flow is different than cluster flow. at org.apache.原创 2022-01-13 16:33:12 · 2248 阅读 · 0 评论 -
基于Nifi 1.15.2 集群搭建
看了一下网上的文档大多数是基于比较早的版本的 ,把我的经验拿出来分享一下一、NiFi是什么?Apache NiFi 是为数据流设计,它支持高度可配置的指示图的数据路由、转换和系统中介逻辑,支持从多种数据源动态拉取数据。简单地说,NiFi是为自动化系统之间的数据流而生。 这里的数据流表示系统之间的自动化和受管理的信息流。 基于WEB图形界面,通过拖拽、连接、配置完成基于流程的编程,实现数据采集、处理等功能。上面这段话,写的很专业、很术语,翻译过来无非就是,Nifi是一个专门用来流转、处理数据的原创 2022-01-13 16:19:18 · 2103 阅读 · 4 评论