qq_30657195的博客

一、大数据概论1.大数据概念：无法在一定时间内使用常规工具进行管理的数据集合是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。2.大数据主要解决：海量数据的存储和海量数据的分析计算问题。3.大数据的特点：Volume（大量），Velocity（高速），Variety（多样性），Value（低价值密度）4.大数据作用：O2O：百度大数据...

今天在做实验的过程中，不知道怎么回事，HDFS就不能操作了。在万般无奈的情况下，将namenode格式化了，然而还是启动不起来，由于我的数据一点都不重要，故我尝试了将data目录和logs目录全部删除。问题得以解决。也许这是最差的一种情况，因为会导致所有的数据都丢失。datanode.log报错如下：2019-06-26 16:22:04,081 FATAL org.apache.hadoop...

异常： Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z at org.apache.hadoop.io.nativeio.NativeIO$Windows.create...

异常：Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V at org.apache.hadoop.io.nativeio.NativeIO$...

异常：Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://hadoop102:9000/user/dengdan/output/output.txt already exists at org.apache.hadoop.mapreduce...

异常：Error: java.io.IOException: Initialization of all the collectors failed. Error in last collector was :class com.sun.jersey.core.impl.provider.entity.XMLJAXBElementProvider$Text at org.apac...

异常：19/03/07 00:38:05 INFO fs.FSInputChecker: Found checksum error: b[0, 81]=7a6169796971690a7a61692079692071690a7a616979692071690a7a6169202020796971690a7a6169796971690a7a616920796971690a7a61697969207...

过程描述：杀死 namenode ，使用namesecondary数据恢复后（方法：手动恢复，无误），数据丢失，且第一次上传数据出现：Exception in createBlockOutputStream日志：19/03/06 02:31:58 INFO hdfs.DFSClient: Exception in createBlockOutputStreamjava.io.EOFExce...

1.配置网卡信息[root@hadoop101 桌面]# vi /etc/udev/rules.d/70-persistent-net.rules2.配置ip[root@hadoop101 桌面]# vi /etc/sysconfig/network-scripts/ifcfg-eth03.修改主机名[root@hadoop101 桌面]# vi /etc/sysconfig/netwo...

今天重新部署了一个3个节点的hadoop完全分布式集群，在第一台节点上安装好hadoop后，使用了伪分布式模式对集群进行了上传文件操作，运行了wordcount案例。在进行完全分布式时，发现有个节点无法启动，查看该节点的 .log文件，发现在文件最后抛出了以下错误。仔细回顾操作过程后，这一系列操作是属于往集群中添加节点。于是，我关闭了集群，并在namenode节点的etc/hadoop目录下添加了...