大数据
文章平均质量分 90
极客烧年
如果觉得有用,请不要忘记三连哦,博主刚刚起步,希望大家多多支持。感谢
展开
-
DataNode(面试开发重点)
DataNode(面试开发重点)一、DataNode工作机制(1)一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。(2)DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息。(3)心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器,或删除某个数据块。如果超过10分钟没有收到某个DataN.原创 2021-02-09 10:20:05 · 331 阅读 · 0 评论 -
Hive自定义一个函数
本文以hive的upper函数为例,使用idea编程1)创建一个Maven工程Hive2)导入依赖(在pom.xml文件中插入)<dependencies><dependency><groupId>org.apache.hive</groupId><artifactId>hive-exec</artifactId><version>3.1.2</version></dependency>原创 2020-11-30 20:44:30 · 298 阅读 · 0 评论 -
Maven修改本地jar包仓库
前言:本人在培训班学习,由于学校的网比较慢,下载jar包的依赖总是下载不下来,所以有时候老师会把自己下载好的直接发给我们,直接改下配置后就可以用了,接下来给大家说下怎么修改。第一步先准备好jar仓库,这里我以我们老师提供的为例,名为“LocalRepository”的压缩包,解压到自己想要放置的位置,我放在了maven的根目录下,复制路径“D:\Develop\Apache\apache-maven-3.6.3\LocalRepository”第二步进入maven的根目录下面的conf文件原创 2020-11-30 20:25:41 · 794 阅读 · 0 评论 -
DataGrip工具连接hive使用hiveserver2出现内存不足解决方案
hive-3.1.2启动的时候,默认申请的JVM堆内存大小为256M,JVM堆内存申请太小,导致执行复杂的sql时经常会报错(如下图所示):java.lang.OutOfMemoryError: GC overhead limit exceeded,然后HiveServer2服务就异常了,因此最好调整一下HADOOP_HEAPSIZE这个参数。解决方案:进入hive下的conf目录,先把“hive-env.sh.template”拷贝一下,或者“mv”重命名[hanxiao@hadoop102 co原创 2020-11-27 13:37:34 · 1864 阅读 · 0 评论 -
SSH连接虚拟机Linux系统较慢问题解决方案
每次登录SSH时总是要停顿等待一下才能连接上,,这是因为OpenSSH服务器有一个DNS查找选项,UseDNS默认情况下是yes状态。UseDNS 选项打开状态下,当客户端试图登录SSH服务器时,服务器端先根据客户端的IP地址进行DNS PTR反向查询出客户端的主机名,然后根据查询出的客户端主机名进行DNS正向A记录查询,验证与其原始IP地址是否一致,这是防止客户端欺骗的一种措施,但一般我们学习创建的虚拟机都是自己用,打开这个选项不过是在浪费时间,所以建议关闭,提升连接速度在root用户下输入:vi原创 2020-11-13 20:35:38 · 413 阅读 · 1 评论 -
Hadoop环境搭建笔记
声明:个人笔记,我自己看的不想看勿喷配置jdk在根目录opt文件夹下创建两个文件夹:module和software(命令:mkdir),software用来存放tar包,module用来存放解压后的tar包。修改文件夹用户和用户组,当前是root用户(命令:ls -l 查看文件用户和用户组名)命令:chown pi:spi module/ software/解压tar包:tar -zx...原创 2020-02-16 18:19:33 · 300 阅读 · 0 评论 -
树莓派6大问题解决方案
树莓派6大问题解决方案1.vi编辑器进入编辑模式后上下左右键出现ABCD,回删键失灵2.vi编辑器编辑完文件后保存退出时出现,请输入“readonly”强制执行3.分辨率设置4.系统黑边问题5.树莓派改中文6.SSH和VNC的开启方法1.vi编辑器进入编辑模式后上下左右键出现ABCD,回删键失灵解决方法:卸载vim编辑器输入:sudo apt-get remove vim-common重新...原创 2019-09-15 21:42:30 · 2570 阅读 · 0 评论