![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
天涯问路
独乐乐不如众乐乐~
展开
-
Hadoop格式化失败,无法启动Namenode,报错:dfs.namenode.format.enable false
Hadoop 格式化的时候报错:dfs.namenode.format.enable false。此时启动集群会发现 Namenode 无法启动,其实就是 Namenode 格式化失败了。原因:很有可能是你们公司在编译 hadoop 的时候故意把格式化功能注释掉了。解决办法:在 hdfs-site.xml 添加一个配置<property> <name>dfs.namenode.format.enable</name> <value&原创 2021-08-02 15:58:17 · 3016 阅读 · 0 评论 -
Hive 数据导入导出方式小结
一、数据导入1.最基本的导入方式:loadload data [ local ] inpath '/opt/module/datas/test.txt' [overwrite] into table student [partition (partcol1=val1,…)];local:从本地导入加上 local ,从 hdfs 导入不用加 overwrite:是否覆盖之前的数据 partition:导入指定分区栗子:a).加载本地文件到 hivehive (default..原创 2020-08-20 17:28:23 · 372 阅读 · 0 评论 -
Spark笔记汇总 — 未完结
一、RDDobject Test { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("Spark").setMaster("local[*]") val sc = new SparkContext(conf) val listRDD: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4, 5, 6, 6, 3), 3) //sc.原创 2020-08-20 16:21:35 · 178 阅读 · 0 评论 -
YARN HA 配置请参考
一、文件配置yarn-site.xml(直接覆盖 configuration 内容)<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!--启用resourceman.原创 2020-08-19 17:02:56 · 337 阅读 · 0 评论 -
请参考文件同步分发脚本 xsync
xsync:#!/bin/bash#1 获取输入参数个数,如果没有参数,直接退出pcount=$#if ((pcount==0)); thenecho no args;exit;fi#2 获取文件名称p1=$1fname=`basename $p1`echo fname=$fname#3 获取上级目录到绝对路径pdir=`cd -P $(dirname $p1); pwd`echo pdir=$pdir#4 获取当前用户名称user=`whoami`#5 循环原创 2020-08-19 11:22:22 · 183 阅读 · 0 评论 -
Hadoop HA 详细配置及注意事项
一、文件配置(配置顺序并无先后)1.配置hadoop-env.sh打开hadoop.env.sh:vim hadoop/etc/hadoop/hadoop/env.sh 修改:export JAVA_HOME=/你的路径/jdk1.8.0_144,根据自己安装的jdk版本及路径配置2.配置core-site.xml。注意:第二项路径要改为自己的真实目录<configuration><!-- 把两个NameNode)的地址组装成一个集群mycluster -->..原创 2020-08-19 10:50:14 · 466 阅读 · 0 评论 -
Hadoop笔记之集群免密登录配置
切换到.ssh目录下:cd .ssh 生成公钥私钥:ssh-keygen -t rsa 分发公钥至本机(首先实现本机免密登陆):ssh-copy-id hadoop102 将最新的 .ssh 文件拷贝到集群所有机器:xsync .sshxsync:分发脚本。内容如下:#!/bin/bash#1 获取输入参数个数,如果没有参数,直接退出pcount=$#if ((pcount==...原创 2020-04-10 15:04:46 · 229 阅读 · 0 评论