Lpy的博客

Hadoop 格式化的时候报错：dfs.namenode.format.enable false。此时启动集群会发现 Namenode 无法启动，其实就是 Namenode 格式化失败了。原因：很有可能是你们公司在编译 hadoop 的时候故意把格式化功能注释掉了。解决办法：在 hdfs-site.xml 添加一个配置<property> <name>dfs.namenode.format.enable</name> <value&

具体报错信息：Exception in thread "main" org.apache.flink.runtime.client.JobExecutionException: Job execution failed..........Caused by: java.net.ConnectException: Connection refused: connect//报错代码env.execute("Flink Stream")出错原因操作顺序错误：先 run 的代.

一、数据导入1.最基本的导入方式：loadload data [ local ] inpath '/opt/module/datas/test.txt' [overwrite] into table student [partition (partcol1=val1,…)];local：从本地导入加上 local ，从 hdfs 导入不用加 overwrite：是否覆盖之前的数据 partition：导入指定分区栗子：a).加载本地文件到 hivehive (default..

一、文件配置yarn-site.xml（直接覆盖 configuration 内容）<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!--启用resourceman.

xsync:#!/bin/bash#1 获取输入参数个数，如果没有参数，直接退出pcount=$#if ((pcount==0)); thenecho no args;exit;fi#2 获取文件名称p1=$1fname=`basename $p1`echo fname=$fname#3 获取上级目录到绝对路径pdir=`cd -P $(dirname $p1); pwd`echo pdir=$pdir#4 获取当前用户名称user=`whoami`#5 循环

一、文件配置(配置顺序并无先后)1.配置hadoop-env.sh打开hadoop.env.sh：vim hadoop/etc/hadoop/hadoop/env.sh 修改：export JAVA_HOME=/你的路径/jdk1.8.0_144，根据自己安装的jdk版本及路径配置2.配置core-site.xml。注意：第二项路径要改为自己的真实目录<configuration><!-- 把两个NameNode）的地址组装成一个集群mycluster --&gt..

一、配置网络ip如果是虚拟机，则需首先配置虚拟机的“虚拟网络配置”：VMWare——编辑——虚拟网络编辑器——修改ip、子网掩码——保存。 修改主机名称：sudo(非root用户需要加上sudo) vim /etc/sysconfig/network，修改里面的hostname即可 修改主机ip：sudo(非root用户) vim /etc/sysconfig/network-scripts/ifcfg=eth0，修改内容：ONBOOT=yes、BOOTPROTO=static、IPADDR=1.