分布式集群Hadoop学习
文章平均质量分 75
分布式集群Hadoop学习
cxy好好先生
这个作者很懒,什么都没留下…
展开
-
大数据 -回归专业
周四,我的指导老师李老师坐班,我特地提早下班回去找他聊天,聊了很多,他还请我吃了饭。自从大四上出来实习后,就没有真正系统学习过了,因为实习的工作都是开发,第一份是go开发,每天爬数据,搞前端,后来觉得无趣,换了现在这个Java开发,结果更加,每天除了测试bug就是写文档,有时候会写写接口,搞搞sql,但总感觉自己虽然是个后端开发,干的活更多是测试前端的活,虽然我知道实习生么,总是那么些事,不可能让我承担很多很难的工作,不知是自己好高骛远,还是自己不甘平凡,总觉得自己不该就此躺平。原创 2023-02-25 00:20:13 · 228 阅读 · 1 评论 -
permission denied
今天在编写了flume采集日志脚本,kafka-hbase-flume集成脚本之后,打算看看数据流通不通,能不能把flume采集到的数据打入hbase,打入卡夫卡。 结果就犯了个低级错误浪费了很多时间。 看以下错误和代码:permission denied。要知道,这个问题之前应该碰到过,我记得应该有可能是权限问题,比如指定文件是root系统文件,而你在Hadoop用户下进行,或者就是该目录或文件不存在。 因为这...原创 2022-03-26 21:01:39 · 5489 阅读 · 3 评论 -
hbase崩溃问题
最近因为我在搞Flume-kafka-hbase 集成,昨天不知道咋了的突然我的hbase就崩溃了,说是说hbase崩溃了,其实我更崩溃,因为这已经不是第一次这样了,hbase崩溃的第一百个原因先放一放我得先抢个明天图书馆位置,每晚八点抢,这个疫情真烦。然后我八点钟有个直播课到九点,差不多就该回去了,明天我买的新手机也到了,明天会有个好心情来整理这hbase崩溃到修复好的心路历程,心很累,因为一出问题真的就是很痛苦去看文章,纠错。...原创 2022-03-25 10:50:27 · 1910 阅读 · 3 评论 -
Unable to deliver event. Exception follows.配置出错
今天在进行hbase-kafka-flume 的集群集成时,我是三个节点,三个Kafka节点,二三节点flume收集信息到一节点flume,再同时打入hbase和kafka,结果在打开一节点的收集flume之后,再去打开二三节点时就报了下面的错。[ERROR - org.apache.flume.SinkRunner$PollingRunner.run(SinkRunner.java:158)] Unable to deliver event. Exception follows.org.apac.原创 2022-03-22 19:05:13 · 5943 阅读 · 6 评论 -
jdk 9 及以上的jdk Could not find tools.jar
我昨天在进行Flume HbaseSink源码修改的时候,发现了一个报错,它是提醒jdk.tools 1.8的缺失,missing了。我就上网查找怎么加入jdk.tools文件,这很容易一下子就找到了,而且看得出这应该是很多人都遇到过,并且很成熟的解决方法。方法就是在pom.xml文件中的依赖里添加。 <dependency> <groupId>jdk.tools</groupId> <artifactId...原创 2022-03-22 10:26:28 · 1541 阅读 · 1 评论 -
Flume 与 Kafka 集成开发(和最近的日记)
自从早上的kafka被拿下之后,我今天的进度异常顺利,果然版本对了啥都不容易错,版本错了啥都是错的。平常看视频最多也就7 8 个,今天差不多看了十二三个,九点四十左右结束。明天再整理了,太累了。 刚刚得到一个好消息,后天的图书馆要解封了,确实幸喜,明天寝室艰苦奋斗一天,后天又可以去图书馆了...原创 2022-03-19 21:16:35 · 1282 阅读 · 2 评论 -
kafka的版本坑
Kafka别再用zookeeper了最近在学kafka在zookeeper的元数据解读,作为一个比小白稍微好一点但是,其实还是没啥经验的我,就老是遇到这种版本问题,总是被它所困扰。昨天早上,我高高兴兴地打开了视频准备学习kafka,按照老师的步骤一步一步地下载kafka,视频中的是使用0.10版本而我只能下载最低的版本就是2.8,然后我就下载了中间版本3.0.1。当然着卡夫卡和我的hadoop啥的都还是兼容的,因为我的Hadoop也是下载了比较...原创 2022-03-13 09:50:39 · 2851 阅读 · 0 评论 -
Hbase 理论知识
要学习Hbase了,工欲善其事必先利其器,要真正在学习的时候看懂每一步操作,必须先把理论知识先过一遍,总结了一点Hbase的网络知识。Hbase简介Hbase 是构建在HDFS上的分布式列存储数据库,是一个高可靠性、高性能、面向列、客伸缩的分布式存储系统,利用Hbase技术可以再廉价PC sever上 搭建大规模结构化存储集群。Hbase 是Google Bigtable 的开源实现,类似Google Bigtable 利用GFS 作为其我呢见存储系统,Goo...原创 2022-03-10 20:40:42 · 2585 阅读 · 1 评论 -
Eclipse频繁未响应
参考:Eclipse频繁未响应解决方法_稚彦的博客-CSDN博客_eclipse白屏未响应本来用Eclipse用的挺好了,突然就频繁未响应,随便整一个操作就未响应。不知道什么原因,也许是心情不太好。刚开始也尝试重启Eclipse,关掉再打开,这种现象还在。后来我又重启了电脑,发现依然没有解决。网上搜索了一下,找到了原因所在。之前Eclipse在编译的时候,有一个Java文件没有被编译,导致Tomcat无法启动,于是我开启了自动编译。开启之后类就被编译了。再次启动Tomcat,程序运行成功。不过从这之后.原创 2022-03-08 22:42:47 · 4012 阅读 · 0 评论 -
Exception in thread “main“ java.lang.UnsupportedClassVersionError: com/hadoop/hadoop_test/WordCount
[hadoop@hadoop01 hadoop]$ bin/hadoop jar wc1.jar com.hadoop.hadoop_test.WordCount /test/wd.txt /test/out3Exception in thread "main" java.lang.UnsupportedClassVersionError: com/hadoop/hadoop_test/WordCount has been compiled by a more recent version of .原创 2022-03-08 20:43:29 · 850 阅读 · 0 评论 -
Mapreduce运行异常Container exited with a non-zero exit code 1
MapReduce程序运行异常Container exited with a non-zero exit code 1. Error file: prelaunch.err._SolitaryWalker_0的博客-CSDN博客Container exited with a non-zero exit code 1. Error file: prelaunch.err.https://blog.csdn.net/qq_38780623/article/details/121452217?ops_reques原创 2022-03-08 10:18:30 · 8471 阅读 · 0 评论 -
yarn服务windows 无法查看
同学们在搭建完hadoop集群,想在Windows窗口查看一下他的yarn服务,192.168.74.146:8088。会发现根本进不去,域名无法登录。在查找了一系列文章之后,我发现了一个东西,在Linux上搭建集群的时候免密码登录时配置的hosts文件在windows下也有,我就把hosts文件打开,他的位置C:\Windows\System32\drivers\etc中,你们可以打开它,但是如果你要编辑它你必须要用管理员身份,毕竟这是一个系统文件,就和Linux系统中的sudo超级权限差不多意思。原创 2022-03-07 16:11:00 · 731 阅读 · 0 评论 -
HDFS分布式文件系统 理论
果然欠下的帐终究还是要还回来的,之前不好好学Hadoop,现在全给补回来,看着这些既熟悉又陌生的知识点,只得静下心好好过一遍,毕竟当初也是只有期末考试之前才集中性背过,那种不结合实践操作的理论背诵是背了就忘,没法理解的。来回顾HDFS的理论部分(安装好HDFS之后再来回顾的)一.HDFS概述 HDFS 是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行在廉价的商用服务器上。源于GFS,一个GFS的克隆版本。...原创 2022-03-05 13:36:12 · 764 阅读 · 0 评论 -
zookeeper 集群部署和shell测试运行
这篇文章在以下文章全部完成之后Zookeeper环境准备(三台虚拟机)_cxy好好先生的博客-CSDN博客集群脚本的准备最近在学zookeeper,发现scp这东西真好用,可以给其他节点传输文件,非常的方便。但是拷贝文件到各个节点,节点数量少还是挺方便的,但是节点一多起来,就会发现重复的工作增加了好多,相同的命令需要输入好多次,而且接受的用户名如果改错了还会浪费时间。所以每次都用scp远程命令去拷贝不现实,所以现在编写一个分发脚本,单命令可以分发到各个节点。(以下是三台已经互相ssh免密登录的虚拟机ce原创 2022-03-05 11:09:12 · 1123 阅读 · 0 评论 -
Zookeeper环境准备(三台虚拟机)
集群脚本的准备最近在学zookeeper,发现scp这东西真好用,可以给其他节点传输文件,非常的方便。但是拷贝文件到各个节点,节点数量少还是挺方便的,但是节点一多起来,就会发现重复的工作增加了好多,相同的命令需要输入好多次,而且接受的用户名如果改错了还会浪费时间。所以每次都用scp远程命令去拷贝不现实,所以现在编写一个分发脚本,单命令可以分发到各个节点。(以下是三台已经互相ssh免密登录的虚拟机centos7)1.创建/home/hadoop/tools 脚本存放目录(以下所有需要在ha..原创 2022-03-04 14:36:35 · 296 阅读 · 0 评论 -
Zookeeper (理论理解|面试题)
(转载)ZooKeeper面试题_Java技术博客-CSDN博客_zookeeper面试题ZooKeeper面试题1.ZooKeeper文件系统Zookeeper提供一个多层级的节点命名空间(节点称为znode)。与文件系统不同的是,这些节点都可以设置关联的数据,而文件系统中只有文件节点可以存放数据而目录节点不行。Zookeeper为了保证高吞吐和低延迟,在内存中维护了这个树状的目录结构,这种特性使得Zookeeper不能用于存放大量的数据,每个节点的存放数据上限为1M。2....https://blo转载 2022-03-01 10:07:51 · 242 阅读 · 0 评论 -
三台Ubuntu虚拟机搭建 Hadoop集群 (第一次搭)
最近因为要搭Hadoop集群,确实花了好大的心血在里面,因为我的Linux也是前两天速成的,好多东西都还是边查资料边搭。但我最终确实成功了,留了一点点小问题在里面。(当Hadoop集群start-all之后resourcemanager无论我怎么按照网上的方法调试都不出现)现在就来回顾一下我的第一次Hadoop集群之旅。一.准备虚拟机...原创 2022-02-27 19:25:35 · 4979 阅读 · 0 评论 -
解决E: Could not get lock /var/lib/dpkg/lock-frontend - open (11: Resource temporarily unavailable)
如果在使用apt或者apt-get时碰到以下情况:这就是因为锁定的文件会阻止 Linux 系统中某些文件或者数据的访问,这个概念也存在于Windows 或者其他的操作系统中。一旦你运行了 apt-get 或者 apt 命令,锁定文件将会创建于 /var/lib/apt/lists/、/var/lib/dpkg/、/var/cache/apt/archives/ 中。这有助于运行中的 apt-get 或者 apt 进程能够避免被其它需要使用相同文件的用户或者系统进程所打断。当...转载 2022-02-27 11:14:19 · 4145 阅读 · 0 评论 -
Linux 虚拟机和物理机实现文本复制粘贴
在Linux学习中,肯定有很多同学有这么一个困惑,就是在物理机看到的代码不能直接复制到虚拟机中,需要手打,很麻烦,如果是一大串文字的文本那更麻烦。想当初,在学Linux这门课的时候,在学校的云平台的虚拟机上学Linux,当时也是有这个困惑,聪明的同学们想出了一个好办法,就是在物理机和虚拟机都登陆上邮箱,把需要复制的东西放进邮箱里,就能实现虚拟机与物理机的沟通了。Of course,这当然还是太麻烦了,不仅要频繁切屏,还要如此繁琐的登录邮箱,所以我特地在csdn上查找实现文...原创 2022-02-25 11:13:10 · 15299 阅读 · 7 评论 -
初入linux
linux第一天之所以这么晚才开始学习linux,并不是因为我才刚刚接触编程,也不是学校没给我们开这门课,而是当时的混混噩噩导致现在linux还是零基础,只会一些简简单单的代码。因为最近准备着手hadoop集群的学习,那作为基础的虚拟机Linux系统我当然得玩的通。( 说来惭愧,Hadoop的学习我们学校其实当初也开了两门课,一心只爱python的我,总觉得会一门语言就够了,也是两门课也只是划水过关,没学到啥东西,最基础的Linux常用命令都还打不通。)今天就从Linux常用命令开始...原创 2022-02-23 21:14:06 · 782 阅读 · 0 评论 -
VMware 安装linux系统Ubuntu
一.文件准备VMware Workstation 下载传送门:VMware15.X:https://www.jb51.net/softs/638376.html原创 2022-02-22 17:32:36 · 693 阅读 · 0 评论