![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
哪有天生的学霸,一切都是厚积薄发
天道酬勤,商道酬信,学道酬苦,业道酬精 ,人道酬诚。
展开
-
如果配置文件中配置了 jobhistory,但是服务没有开始,运行MR任务会报错,但是不会影响MR的运行结果,如果未开启这个服务,在MR运行结束后,写日志到HDFS会报错 报错即是:尝试连接100
hadoop原创 2018-11-17 00:03:43 · 280 阅读 · 0 评论 -
Exception in thread “main“ java.lang.NoClassDeefoundError: org/json/JSONObject
缺少jar 包报错原创 2018-11-16 23:27:44 · 1446 阅读 · 0 评论 -
SQL String can not be NULL
java 连接mysql 报错原创 2018-11-16 23:58:37 · 5582 阅读 · 5 评论 -
Can‘t all commit when autocommit=true
hadoop 代码报错原创 2018-11-17 00:01:08 · 433 阅读 · 0 评论 -
etrying connect too server:hadoop01//:192.168.91.10:8020
集群没启动报错原创 2018-11-16 23:23:20 · 558 阅读 · 0 评论 -
The value of property RUNNING DATE must not be null
The value of property RUNNING DATE must not be null原创 2018-11-16 23:20:43 · 2208 阅读 · 0 评论 -
java.net.URISyntaxException: Relative path in absolute URI
集群地址写错原创 2018-11-17 00:11:05 · 4414 阅读 · 0 评论 -
Failed to execute goal org.apache.maven.plugins:maven-enforcer-plugin:1.3.1:enforce (clean) on proje
我这个错误是在编译hadoopcdh源码的时候遇到的错,错误的原因是:因为我的hadoopcdh版本用的是:hadoop-2.6.0-cdh5.15.1,BUILDING.txt文件里 要求:而我安装的jdk是1.8版本的,不是它要的,所以报错了。...原创 2019-12-26 23:37:37 · 799 阅读 · 0 评论 -
Hadoop自测题及参考答案
https://blog.csdn.net/scgaliguodong123_/article/details/46301147原创 2019-03-05 15:34:00 · 1099 阅读 · 0 评论 -
什么情况下会进入安全模式,安全模式的解决办法
什么情况下会进入安全模式块的数量低于阀值,datanode启动数量不够都会进入安全模式。安全模式的解决办法(1)调低阀值hdfs-site.xml中dfs.namenode.safemode.threshold-pct0.999f(2)强制离开hdfs dfsadmin -safemode leave(3)重新格式化集群(4)修复损坏的块文件...原创 2019-01-23 09:34:10 · 1171 阅读 · 0 评论 -
HDFS不适合存储小文件,如果生成场景中还必须将这些小文件进行存储(比如,每天产生的日志,数据量很小,但是必须存储)
HDFS天生就是为存储大文件而生的,一个块的元数据大小大概在150字节左右,存储一个小文件就要占用150字节的内存,如果存储大量的小文件很快就将内存耗尽,而整个集群存储的数据量很小,失去了HDFS的意义。可以将数据合并上传,或者将文件append形式追加在HDFS文件末尾。...原创 2019-01-23 09:32:28 · 955 阅读 · 2 评论 -
namenode的启动过程
(1)加载镜像文件,还原了checkpoint时间节点前的元数据(包含目录结构,文件大小,块的大小,块的id等等信息),不包含块的存储位置(2)加载edits文件,还原了checkpoint时间节点到集群停止的元数据,不包含块的存储位置。(至此namenode还原的元数据唯一缺失的就是块的存储位置)(3)blockreport阶段,datanode启动,向namendoe汇报自己所管理的块及块...原创 2019-01-23 09:31:46 · 797 阅读 · 1 评论 -
NameNode的WEBUI界面无法正常打开的原因
0.查看主机的hdfs-site.xml里面是否已经配置了50070端口windows不能访问dfs的web界面:1.jps是否已经启动集群2.使用的是ip还是映射名如果是映射名的话,那么就要查看你的主机映射有没有配上,否则可以用的虚拟机的ip:500703.集群是不是挂了...原创 2019-01-02 10:05:23 · 3938 阅读 · 0 评论 -
FileSystem设计思想总结
NN的职责:1.维护元数据信息内存中有一份,磁盘中也有一个fsimage,然后最新的操作在edits log 里面,隔一段时间,还会把fsimage和edits log进行合并,内存里面是实时更新的,每增加一个文件,上传到集群里面,内存里面就会增加一条,内存里面永远是最新的,但是fsimage 要和 edits log合并才能保持一致性,所以会隔段时间去对峙,合并的操作叫作checkpoint...原创 2018-10-09 21:47:32 · 175 阅读 · 0 评论 -
DN的工作原理
DataNode1.提供真实文件数据的存储服务2.文件块(block):最基本的存储单位。对于文件内容而言,一个文件长度大小是size,那么从文件0皮衣开始,按照固定的大小,顺序对文件进行划分并编号,划分好的每一块称为一个block,HDFS默认Block的大小是128MB,以一个256MB文件,则需要两个block,即256 / 128 = 23.不同于普通文件系统的是,HDFS里面,如果...原创 2018-10-09 20:57:22 · 1272 阅读 · 0 评论 -
高可用HA
1.NN + SN 模式:2.HA原创 2018-10-16 00:35:03 · 490 阅读 · 0 评论 -
完全分布式
我这里一共有四台虚拟机:下面安装的东西:可以在一台虚拟机上安装配置好,然后克隆:比如:1)做一台主机名字叫做mini1磁盘空间50G2)配置好名称,修改好ip,关闭防火墙,安装好JDK,安装好ntp和ntpdate,安装好man3)配置好Yum的网络源和本地源任选最好是网络源4)修改好本地文件C:\Windows\System32\drivers\etc下的映射配置5)克隆出3台...原创 2018-09-26 23:56:49 · 2666 阅读 · 0 评论 -
Hadoop单机版
1.Hadoop是Java开发需要在服务器上安装相对应的JDK1.7ps:Linux默认自带JDK–openJDK–>Hadoop集群千万不要使用这个2.将hadoop安装包上传到服务器hadoop版本2.x版本–>2.7.1ps:实际开发中如需要其他安装包,请去官网下载3.进行解压到 /opt/software/下面4.hadoop对应目录bin:hadoop最近的管理...原创 2018-09-26 19:18:10 · 754 阅读 · 0 评论 -
Hadoop
一、大数据的定义大数据,指的是无法在一定时间范围内常规软件工具进行捕捉、管理和处理数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量,高增长率和多样化的信息资产。二、能处理大数据的技术1)Hadoop离线计算2)spark实时计算3)storm流式计算三、Hadoop背景介绍Apache是一个可靠的,扩展的分布式计算开发软件Apache Hadoop可以...原创 2018-10-02 14:14:17 · 295 阅读 · 0 评论