qq_43359776的博客

原创 启动hive 失败 关闭hadoop安全模式

表示hadoop处于安全模式，需要关闭才能启动成功关闭安全模式

原创 hive 执行sql语句 出现null

原因：因为建表的时候使用的是‘\t’(create table stu(id int,name string) row format delimited fields terminated by '所以在向.txt文档中导入数据时，只能使用 “Tap” 为分隔符（不能使用空格）

原创 向hive中插入数据出现以下问题

解决方法，将hive设为本地模式方法一：set hive.exec.mode.local.auto=true;方法二：在hive-site.xml中修改配置<property> <name>hive.exec.mode.local.auto</name> <value>true</value> </property>方法一每次使用都得重新设置，所以建议直接修改配置文件...

原创 hive

问题：解决办法[root@hadoop12 hive]$ nohup bin/hive --service metastore &[root@hadoop12 hive]S nohup bin/hive --service hiveserver2 &

原创 启动hadoop DataNode 出现问题

2021-04-11 20:34:25,769 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: IOException in offerServicejava.io.EOFException: End of File Exception between local host is: "master/192.168.158.10"; destination host is: "localhost":9090; : java.io.EOFExcept

原创 hadoop架构图

hadoop架构图

原创 rsync远程同步工具

rsync主要用于备份和镜像，具有速度快，避免复制相同内容和支持符号连接的优点rsync和scp的区别：用rsync做文件的复制要比scp速度快，rsync只对差异文件做更新，scp是把所有文件都复制过去

原创 datanode namenode进程只能同时工作一个

问题原因NameNode在format初始化后会生成claserId(集群id)，在没有关闭进程或删除原有DataNode信息的情况下， 再次格式化NameNode，生成的clusterId不同，所以导致两个不能对应上。解决办法jps查看namenode和datanode ，先将两个关闭 删除DataNode生成的data目录和logs目录 （默认在/tmp路径下，若进行了配置要看具体配置路径） 所有相关的都要删除 执行格式化命令...

原创 hadoop 操作

在hdfs上创建文件 bin/hdfs dfs -mkdir -p /input/yr-p:指定多路径单独启动某一个节点：hadoop-daemon.sh start datanode/namenode(在bin下面启动)显示但路径：bin/hdfs dfs -ls /显示多路径：bin/hdfs dfs -lsr /将本地文件上传hdfs：bin/hdfs dfs -put wcinput/wc.input /input (前面为本地路径，后面为hdfs路径)...

原创 yarn架构图

原创 scala 数组模拟队列

package DataStruct//使用队列实现排队（数组出现越界）import scala.io.StdInobject QueueDemo { def main(args: Array[String]): Unit = { val queue = new ArrayQueue(20) var key = "" while(true){ println("show:表示显示队列") println("exit:表示退出队列") .

原创 面向对象三大基本特性

三大特性是：封装,继承,多态所谓封装：也就是把客观事物封装成抽象的类，并且类可以把自己的数据和方法只让可信的类或者对象操作，对不可信的进行信息隐藏。封装是面向对象的特征之一，是对象和类概念的主要特性。 简单的说，一个类就是一个封装了数据以及操作这些数据的代码的逻辑实体。在一个对象内部，某些代码或某些数据可以是私有的，不能被外界访问。通过这种方式，对象对内部数据提供了不同级别的保护，以防止程序中无关的部分意外的改变或错误的使用了对象的私有部分。所谓继承：是指可以让某个类型的对象获得另一个类型...

原创 print、printf、println的区别

一、功能不同1、print：将bai信息显示在命令du窗口中，输出光标定位在最后一个字符之后。zhi2、printf：将信息进行格dao式化显示在命令窗口中，输出光标定位在最后一个字符之后。3、println：将信息显示在命令窗口中，输出光标换行定位在下一行开头。二、语法不同1、print：Print("\n ") = Println("")。2、printf：System.out.println(" b");3、println：System.out.print(" ASD\..

原创 idea spark streaming编程

使用spark streaming实时计算网页top代码：val sc=new SparkConf().setMaster("loca[4]").setAppName("pagehot")报错信息：Error:(7, 28) value setMaster is not a member of yr.demo.SparkConf val sc=new SparkConf().setMaster("loca[4]").setAppName("pagehot")困扰我两三天了 ，在网上百度..

转载 hadoop

一：linux上进行上传下载查询操作首先将Hadoop服务启动将master,slave1,slave2三台虚拟机启动在master上启动Hadoop服务./start-all.sh然后jps查看命令是否启动成功,和Hadoop集群环境搭建中验证方法一致确认启动成功后,使用Xshell分别连接虚拟机使用Xftp将文件上传到虚拟机中或者自己创建文件,我们就将文件放置在/usr/tmp中cd /usr/tmp然后我们创建一个文本文件#touch 创建文件 mkdir 创建文件夹touch