hhhhhhhhhhhnb的博客

Spark简单配置

上传、解压tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /usr/hadoop/配置Agent作业启动Agent作业准备运行上述的作业配置：a1，对原配置进行了ageng作业名的修改修改log4j类库修改日志输出目的地：console运行作业：./flume-ng agent --conf ../conf/ --name a1 --conf-file ../conf/flume-conf2.proper...

1、上传解包tar -zxvf kafka_2.12-2.7.1.tgz -C /usr/hadoop/2、Kafka配置主要的配置项：broker.id=1log.dirs=/usr/hadoop/kafka_2.12-2.7.1/logsdatazookeeper.connect=localhost:21813、kafka的相关管理脚本：启动测试后，发现只有broker.id=1的主机上线，2号机器没安装 分发配置好的kafka：1号...

引入Hive框架Hive对了解内部的人员，知道他Hive是对Hadoop的封装。对外部人员而言：知道Hive可以接收sql语句执行，就以为这是一个新型数据库hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速Map

没有配置HadoopHome：在Windows下解压一份Hadoop安装包Hadoop使用log4j进行日志输出，明显没有配置log4j再次运行，显示了作业的运行情况Hadoop环境变量配置（Windows下的可参照Linux配置，如下）重启IDEA（或者重新启动电脑）模拟器安装：winutils-master.zip 找到模拟器的两个文件 将这两个文件复制到如下目录中： C:\Windo...

hdfs集群下线DataNode要严格遵守顺序！！！启动hdfs与yarn平台后，进入web页面发现无法上传文件和创建目录，更无法删除目录。在hadoop中发现提示为进入安全模式。查看安全模式状态hdfs dfsadmin -safemode get进入安全模式hdfs dfsadmin -safemode enter离开安全模式hdfs dfsadmin -safemode leave...

问题：Hadoop网页dnfs显示datenode只有一个或者没有（配置最少两台datenode）主机数量扩展为四台，但只有三台，纳入管理配置将4号主机，纳入管理：slaves此时在增加了一台主机的情况下，应重新格式化，如不格式化，扩展的这台主机将无法上线新增加的主机，没有纳入管理多种手段，可以管理集群：web浏览器访问50070 使用命令：./hdfs dfsadmin –report解决上述问题，将新主机slave4纳入管理：重新格式化.

下图表示一两个情况：在linux操作系统下没有权限 ./hdfs dfs -chmod 777 / 在window操作系统下无法解析主机名（master返回的存储数据的slave主机列表，是使用主机名表示）修改windows下的hosts 修改这个文件，需要管理员权限 再通过浏览器上传： 再次通过浏览器上传：...

第一步，我们进行集群的弹性扩展：我们安装都是单机集群1-N的集群扩张扩张之前，需要选择一个已安装hadoop的主机，作为Master已安装hadoop的主机清理，只保留1号机中的hadoop，以这个hadoop为准 确认所有主机已安装了jdk 确认所有主机之间，彼此ssh免密 检查所有主机是否都有公私钥 （1）：在各自的机器上面生成密钥： 　　在第1台机器上生产一对钥匙： ssh-keygen （-t rsa） 　　在第2台机器上生产一对钥匙： ssh-keygen

1. 首先在linux操作系统下进入tmp目录下cd /tmp输入 rz 查找在window下文件为hadoop-2.10.1.tar.gz下载在usr目录下创建hadoop目录mkdir /usr/hadoop解压hadoop-2.10.1.tar.gztar -xzvf hadoop-2.10.1.tar.gz -C /usr/hadoop/移动到hadoop目录下cd /usr/hadoop/hadoop-2.10.1/etc/hadoop编辑 Hado