大数据
t18092838767
这个作者很懒,什么都没留下…
展开
-
解决连接kudu时,delaying RPC due to Service unavailable: Master config (**.**.**.**:7051) has no leader
文章目录1 报错日志2 原因分析3 问题解决4 扩展问题排查4.1 端口是否开放1 报错日志delaying RPC due to Service unavailable: Master config (...:7051) has no leader2 原因分析kudu客户端连接kudu时,配置的时ip,结果kudu给返回了主机的域名,集群通过域名找到其他节点。问题就出在这了,返回域名后客户端就要识别啊,所以少一个配置,hosts配置.如下127.**..1 master13 问题解决在使原创 2021-01-11 15:21:15 · 1452 阅读 · 0 评论 -
CDH6.2.0安装步骤
文章目录1 检查生产环境1.1 检查硬件信息1.2 确认系统信息1.3 确认服务器内部网络是否互通1.4 配置yum源2 修改系统配置2.1 修改主机名(可选)2.2 更新hosts文件2.3 关闭防火墙,禁止开机自启2.4 各主机之间的免密登录(可以不用配置)2.5 禁用selinux(优化项,所有节点)2.6 禁用ipv6(优化项,所有节点)2.7 安装NTP3 优化系统配置3.1 关闭tuned (所有节点)3.2 关闭透明页 (所有节点)3.3 修改swappiness参数 (所有节点)3原创 2020-10-13 13:20:19 · 1411 阅读 · 0 评论 -
CDH 6.2官方文档索引
文章目录文档总览官方apicm管理扩容hive服务插件下载页面: ODBC等启用kerberos官方文档从CDH5升级到6Datanode磁盘大小的说明各角色硬件要求文档总览https://www.cloudera.com/documentation/enterprise/6/6.2.html官方apihttps://www.cloudera.com/documentation/enterprise/6/6.2/topics/cloudera_manager.htmlcm管理https://ww原创 2020-07-15 11:35:39 · 198 阅读 · 0 评论 -
解决flume导入hdfs时:java.lang.NoClassDefFoundError: com/ctc/wstx/io/InputBootstrapper
首先,从hadoop的安装目录下,找到以下jar包,拷贝到flume的安装目录bin下。然后再执行flume配置以下各依赖包版本根据hadoop版本而变commons-configuration-1.6.jarhadoop-auth-2.7.2.jarhadoop-common-2.7.2.jarhadoop-hdfs-2.7.2.jarcommons-io-2.4.jarhtrac...原创 2020-04-23 14:33:33 · 3697 阅读 · 0 评论 -
kafka单机环境搭建和测试
文章目录前言环境准备安装包准备1 安装zookeeper1.1 解压安装包1.2 配置环境变量1.3 修改配置1.4 启动1.5 验证2 安装验证kafka2.1 解压安装包2.2 修改配置2.3 启动2.4 测试前言环境准备在安装单机版kafka时,本机已具备以下环境基础。Linux版本:CentOS 7JDK版本: jdk-7u71-linux-x64.tar.gz安装包准备...原创 2020-04-21 17:35:07 · 368 阅读 · 0 评论 -
Flume 简介及使用案例
Flume 简介及使用案例参考: 官方文档:http://flume.apache.org/releases/content/1.8.0/FlumeUserGuide.html 中文文档:https://flume.liyifeng.org/#系统要求一、Flume简介二、Flume架构和基本概念 2.1 基本架构 ...原创 2020-04-10 10:53:46 · 352 阅读 · 0 评论 -
sqoop入门介绍
一、产生的背景 灵感来于生活,开源来于需求 解决传统型数据库到Hadoop数据之间的迁移,这样看来,在传统型数据库横行的时代,随着数据量的增大,要从传统型数据库往Hadoop迁移,就必须要有迁移的方案.当然,也得支持反向迁移,比如下图二、学习它的理由问题:首先思考一个问题,在企业刚开始使用大数据技术时,存在下面的问题思考:以前用的都是关系型数据库,怎么把这些数据导入到hi...原创 2020-02-26 19:48:04 · 244 阅读 · 0 评论