三暮辰的博客

安装kafka单机版kafka是基于Scala开发，需要java的运行环境，所以首先要确保已经安装配置好java环境kafka自带集成了zookeeper一、下载解压下载地址：http://kafka.apache.org/downloads解压：tar -zvxf kafka_2.12-3.0.0.tgz二、进入目录运行bin/zookeeper-server-start.sh config/zookeeper.propertiesbin/kafka-server-start.sh

DW ,DM等名词概念DB，数据库DW，数据仓库，保存的是数据再不通时间点的状态DM，以某个业务应用为出发点而建立的局部DW，DW只关心自己需要的数据，不会全盘考虑企业整体的数据架构和应用给，每个应用有自己的DMODS，操作性数据仓库，最早的数据仓库模型，业务系统的数据结构是怎样的，ods数据库的结构就是怎样的。比我我们从mysql中导入数据，ods层的元数据和数据和mysql中完全一致。...

重新换了台电脑，又不想移动原来的虚拟机，所以重新部署了一下Hadoop环境生态安装hive一、下载直接官网下载3.0以上版本二、解压tar -zvxf apache-hive-3.1.2-bin.tar三、修改配置文件进入安装的conf目录cp hive-env.sh.template hive-env.sh修改(添加)Hadoop路径HADOOP_HOME=/usr/app/hadoop新建 hive-site.xml 文件，内容为:<?xml version="

Exception in thread “main” java.lang.IncompatibleClassChangeError: Class com.google.common.collect.ImmutableSortedMap does not implement the requested interface java.util.NavigableMap

Hadoop单机环境搭建一、jdk环境二、IP地址和主机名映射三、生成公私钥授权四、下载解压Hadoop五、配置Hadoop环境变量六、修改Hadoop配置文件七、关闭防火墙八、初始化九、启动十、Yarn配置启动一、jdk环境从官方下载jdk，版本1.8及以上即可给个地址：jdk8Ubuntu环境下载64位链接二、IP地址和主机名映射将主机名与IP地址映射，可以用主机名进行任务分发或文件传输以及其他工作使用hostname命令 ，查看本机的主机名；使用ip addr命令 ，查看本机的ip地

1.创建的三台虚拟机之间ping不通2.运行start-dfs.sh时，出现rcmd:socket:Permission denied错误3.运行start-all.sh时，启动namenode和datanode出现ssh exited with exit code 13.1 每一个公钥都要写入authorized_keys文件3.2 环境变量配全4.namenode无法启动5.将hadoop上传至其他节点出现permission denied6.格式化namenode出现data文件夹不可用