大数据
文章平均质量分 90
主要涉及大数据常用框架,如:hadoop、scala等
弗兰随风小欢
目前主要更新<<机器学习入门>>、<<数据结构入门>>、<<大数据实验系列>>、<<目标检测实验系列>>四个系列,私信可承接YOLO项目、论文和答疑
展开
-
【大数据实验系列】一文轻松搞定云服务器Centos8.x下安装MySQL5.x版本,以阿里云服务器为例!(超详细安装流程)
【大数据实验系列】一文轻松搞定云服务器Centos8.x下安装MySQL5.x版本,以阿里云服务器为例!(超详细安装流程)原创 2024-01-06 22:02:34 · 1103 阅读 · 0 评论 -
【大数据实验系列】解决日志收集框架Flume使用HDFS的Sink类型,且使用codeC=gzip压缩方式时,Flume日志信息一直卡在Got brand-new Compressor[.gz]的问题
解决日志收集框架Flume使用HDFS的Sink类型,且使用codeC=gzip压缩方式时,Flume日志信息一直卡在Got brand-new Compressor[.gz]的问题原创 2023-04-01 17:37:02 · 469 阅读 · 1 评论 -
【大数据入门踩坑系列】hadoop提交job作业报错xx.NativeIO$POSIX.stat(Ljava/lang/String)以及yarn提交抛出Exit code: 127的问题解决办法
hadoop提交job作业报错xx.NativeIO$POSIX.stat(Ljava/lang/String)以及yarn提交抛出Exit code: 127的问题解决办法原创 2023-01-23 16:37:46 · 1103 阅读 · 0 评论 -
Centos下jps突然显示不出Java进程相关信息的解决办法(前提是明明有Java进程)
Linux下输入jps显示不出Java进程博主最近一直在玩Linux,不知道哪个时候,发现jps显示不出Java进程,而明明Java进程启动正常,于是在网上以各种姿势进行搜索。关于这方面的文章本来就少,搜索到的最好的几篇就是告诉了一些出现这方面的原因,但是并没有给出具体的解决方案,经常一系列的探索和踩坑,得到了解决的办法(这方法可能只是适合博主和部分博友,可能因为环境啥不同,导致解决方案不同,请...原创 2019-12-12 14:44:22 · 2090 阅读 · 5 评论 -
Java操作Hadoop中的MapReducer报错:D:/tmp/xx/mapred/local/localRunner/root/的解决办法
Java API操作Hadoop 中的MR报错:#java.io.FileNotFoundException:D:/tmp/hadoop-xx/mapred/local/localRunner/root/jobcache/job_local761687993_0001/attempt_local761687993_0001_m_000000_0/output/file.out.indexJav...原创 2019-11-14 17:07:34 · 1066 阅读 · 0 评论 -
HDFS读数据与写数据流程图
这里只做BLK1(块)的例子,其他BLK2等等都是类似1.HDFS写数据详细流程图:2.HDFS读数据流程图:原创 2019-11-12 09:42:46 · 497 阅读 · 0 评论 -
Hadoop中HDFS使用Java API进行open方法查阅文件内容:报错java.nio.channels.UnresolvedAddressException的解决办法
博主在使用Java API操作Hadoop中的HDFS时,使用open方法查阅相应的内容,结果报错如下的截图:经过上网查询相应的问题,得到了相应的解决办法。由于博主使用的是阿里云的机器,所以在连接HDFS时使用的是纯外网IP连接写在了代码中,如下截图:(为了避免隐私问题, 这里的IP地址用xx代替)解决办法就是改变本机上的hosts,在代码里面不建议使用纯IP来连接HDF...原创 2019-10-23 15:23:17 · 2988 阅读 · 6 评论 -
Linux(Centos7)下配置Hadoop的环境以及启动其HDFS的详细教程
上一篇博客地址:https://blog.csdn.net/qq_32575047/article/details/102505038由于篇幅过长,就将安装和配置Hadoop的教程分开来讲,避免博友们的视觉疲劳,上一篇博文我们说到了如何下载Hadoop并解压到Linux的自定义目录中,接下来让我们进入配置环境以及启动Hadoop的正题上吧:在这里首先我建议大家在配置环境之前,将Hadoop...原创 2019-10-12 14:32:18 · 6776 阅读 · 0 评论 -
Linux(Centos7)下载Hadoop(CDH版本)的详细教程
Hadoop作为入门大数据必须学习的知识,大数据也是从Hadoop学起的,据我所知,在市面上有三款Hadoop:1.Hadoop的原生,去Hadoop的官网下载即可2.CDH版本的Hadoop3.HDP版本的Hadoop后面两种版本的Hadoop比原生的Hadoop更具有兼容性,在博主这里,我选择的是基于CDH版本的Hadoop版本,就让我们进入安装的正题吧第一步:浏览器...原创 2019-10-11 21:49:29 · 5195 阅读 · 2 评论 -
在Linux上将作业提交到Yarn上运行报错Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES的解决办法
楼主在Linux服务器上将作业提交到Yarn上报错:Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.经过网上的搜索以及自己的实验,解决了问题,现在将解决办法分享给大家:在安装的hadoop的/etc/hadoop文件首写打开hdfs-site.xml文件如下:<...原创 2019-08-11 21:39:19 · 4216 阅读 · 2 评论 -
IDEA中通过Java的API操作MapReducer报错org.apache.hadoop.io.nativeio.NativeIO$Windows...的解决办法(进来看一下)
最近在学习Java API操作hadoop上的MapReducer(hadoop部署在阿里云的服务器上),在IDEA上操作Hadoop的时候报了如下的错误:org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljav等等这个错误真的巨坑,网上说的啥没有配置相应的hadoop环境,楼主安装了wi...原创 2019-08-04 17:37:25 · 694 阅读 · 1 评论 -
Java API操作hadoop报错Failed to connect to /xxx:50010 for block BP....的解决办法(hadoop搭建在阿里云服务器上)
最近在学习hadoop的入门知识,在Java API操作hadoop的时候报了如下图的错误:经过许久的折腾,得到了解决的办法。由于我使用的Linux是阿里云的服务器,使用本地自己搭建的服务器可能不会报这个错误,解决方法为:在你新建configuration之后,再添加如下一行代码即可: configuration.set("dfs.client.use.datanode...原创 2019-07-31 10:27:15 · 2793 阅读 · 2 评论 -
Linux下-bash:ls:command not found等相关命令找不到的解决办法
博主最近在学习hadoop的相关技术知识,在修改环境变量的时候不知道啥时候把一些相关变量给改了,导致下次登录的时候类似于ls等命令都找不到了,经过不屈不挠的挣扎,现在已经解决了,分享给大家: 在网上搜到了很多的办法,类似于下面的命令行export PATH=/bin:/usr/bin:$PATH 输入下面的命令确实可以解决办法,但是当关掉当前的shell...原创 2019-07-18 11:13:39 · 12125 阅读 · 3 评论 -
zookeeper启动报错Opening socket connection to server localhost/127.0.0.1:2181. Will not attempt to.....
今天在学习zookeeper的时候,在linux上搭建单机版伪分布式集群zookeeper,启动一个zookeeper的时候是成功的,但是连上客户端的时候报了如下图的错误:Opening socket connection to server localhost/127.0.0.1:2181. Will not attempt to authenticate using SASL (un...原创 2019-06-25 14:46:40 · 117237 阅读 · 6 评论 -
zookeeper命名报错conf is not executed because it is not in the whitelist的解决办法
今天在学习zookeeper的时候,学习到了四字命令,但是在linux上使用如下命令报错:[root@izuf6imeqt5e7h19hiwmetz bin]# echo conf | nc localhost 2181conf is not executed because it is not in the whitelist.经过百度查询,得到了解决的办法,现在分享给大家;...原创 2019-06-24 15:12:15 · 7265 阅读 · 0 评论 -
IDEA创建Scala项目详细教程(以maven项目为例子)
IDEA创建Scala项目简介前提准备详细操作流程简介最近在复习Scala知识,之前没有记录IDEA创建Scala(以maven项目为准)项目。这篇文章将详细记录创建的整个详细过程,并着重讲解注意的几个地方。前提准备在此之前我们需要已经搭建好JDK环境并且已经下载好Scala的SDK(在这里当然你也可以在IDEA里面根据提示下载Scala的SDK,不过不推荐,因为下载的过于缓慢),所以我在...原创 2019-11-13 14:12:07 · 12006 阅读 · 0 评论 -
解决kafka.serializer.StringDecoder无论如何导入不进来报红的问题
在进行kafka和spark Streaming做测试的时候,需要用到StringDecoder的这个类,可是无论如何导kafka.serializer.StringDecoder都导入不进来,明明IDEA有导入的提示,可就是导入不进来,经过网上的搜索,现在把解决方案分享给大家:我们在头文件手动导入这个包即可解决导不进的问题:import _root_.kafka.serializer...原创 2019-09-21 21:46:04 · 1858 阅读 · 0 评论 -
Linux下以exec方式启动Flume,启动日志卡在Starting Sink的解决方法
Linux启动Flume时,卡在了如下图所示的地方:打开百度搜索相关问题,奈何这方面的问题解决办法基本没有,在楼主仔细的观察下解决了此问题,现在分享给大家:我们一定要看日志,仔细去看控制台的日志,假如启动有问题的话,那么日志信息肯定会显示出来,楼主仔细发现了有WARN的语句如下:由此句,可以判断出gent是无效的,我们由此定位到启动的配置文件,这里首先给出我启动Flume...原创 2019-09-11 09:40:20 · 3094 阅读 · 1 评论