![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据学习
记录大数据开发组件原理及api学习
悠然大月季
数据开发
展开
-
Hbase 1.3.x api操作
hbaseApiOperation.java 文件在 src目录 main-》java-》 com.atguigu目录下项目树:原创 2022-06-26 22:46:18 · 3212 阅读 · 0 评论 -
ERROR OGG-15050 Error loading Java VM runtime library: (2 No such file or directory).
此问题出现在目标端重启mgr即可原创 2022-06-01 14:12:38 · 251 阅读 · 0 评论 -
CDH之CDH6.X完全卸载步骤
转载: http://blog.csdn.net/wulantian/article/details/42706777//CDH6.X完全卸载步骤关闭集群中的所有服务。这个可以通过clouder manger 主页关闭集群。卸载[root@master ~]# /usr/share/cmf/uninstall-cloudera-manager.sh [root@slave1 ~]# service cloudera-scm-agent stop[root@slave1 ~]# servi原创 2021-10-21 11:38:11 · 1286 阅读 · 0 评论 -
CDH之问题记录
问题一Fatal error during KafkaServer startup. Prepare to shutdownkafka.common.InconsistentBrokerIdException: Configured broker.id 56doesn’t match stored broker.id 103 in meta.properties解决办法:找到问题主机(我的是data1主机kafak出现问题),配置文件[root@data1 ~]# find / -name原创 2021-10-18 14:50:38 · 149 阅读 · 0 评论 -
CDH错误之com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag
[root@master ~]# hdfs fsck -list-corruptfileblocksFileSystem is inaccessible due to:java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.; Host Det原创 2021-10-18 10:47:07 · 1386 阅读 · 0 评论 -
CDH添加Hue服务时,验证数据库连接报错 Unexpected error. Unable to verify database connection.
问题原因因为我们的mysql是重新安装的,服务器重新安装mysql的同时,会删除系统原来的mysql,此时会连带着删除 libmysqlclient.s0.18 文件注意:32位的目录是 /usr/lib/mysql/,64位的目录为 /usr/lib64/mysql/一、在一台从未装过mysql的服务器里,可以在 /usr/lib64/mysql/ 下找到 libmysqlclient.s0.18[root@data1 ~]# scp /usr/lib64/mysql/libmysqlclient原创 2021-10-09 18:11:06 · 557 阅读 · 0 评论 -
CDH学习之查看日志之Cloudera Manager Server是否启动成功
.启动Cloudera Manager Server--查看是否启动systemctl start cloudera-scm-server--查看状态ps -ef | grep cloudera-scm-serversystemctl status cloudera-scm-server 显示 Active: active (running)6.检查端口是否监听安装 netstatyum install net-toolsnetstat -lnpt | grep 7..原创 2021-07-14 15:33:12 · 2710 阅读 · 0 评论 -
Ambari安装错误总结之SSLError: Failed to connect. Please check openssl library versions.
SSLError: Failed to connect. Please check openssl library versions.openssl version原创 2021-06-07 15:48:30 · 573 阅读 · 2 评论 -
大数据之集群管理工具Ambari原理学习
ambari官网https://ambari.apache.org/如图Ambari体系结构如下下图描述了ambari-agent设计ambari—server设计用例:描述系统如何在ambari—server服务请求以及组件如何交互1.添加服务:向现有集群添加新服务。让我们看一个具体的例子向已运行的现有群集添加Hbase服务的示例HDFS公司。HBase主节点和从节点将被添加到现有节点的子集(无其他节点)。它将经历以下步骤:•请求通过API到达服务器,并生成请求id附在请求之后原创 2021-05-30 18:15:35 · 464 阅读 · 1 评论 -
数据仓库学习之数据三范式
数据仓库学习之数据三范式一、3NF知识点第一范式:1NF是对属性的原子性约束,要求属性具有原子性,不可再分解;第二范式:2NF是对记录的惟一性约束,要求记录有惟一标识,即实体的惟一性;第三范式:3NF是对字段冗余性的约束,即任何字段不能由其他字段派生出来,它要求字段没有冗余。简单来说,就是:第一范式:具有原子性第二范式:主键列与非主键列遵循完全函数依赖关系第三范式:非主键列之间没有传递函数依赖关系第二范式(2NF)和第三范式(3NF)的概念原创 2021-05-23 19:58:29 · 1108 阅读 · 3 评论 -
Apache Hadoop之大数据集群搭建
Hadoop之大数据集群搭建(三个虚拟机master、data1、data2)一、版本:https://hadoop.apache.org/release/2.7.2.html原创 2021-05-20 14:19:44 · 237 阅读 · 0 评论