![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
bigdata
介绍或者记录大数据相关资料、学习过程等
Rong_Gong
最艰难的道路其实就是通向自己的道路。
展开
-
大数据环境搭建之hadoop完全分布式搭建
本博客只是记录apache hadoop完全分布式配置的大概过程,若在配置中遇到各种错误,本博客不负责提供解决方案,请自行解决问题。本博客中所提到的内容仅供参考使用。转载请说明来源。apache Hadoop是目前市面上比较主流的开源分布式存储及分布式大数据计算框架,其具有高可靠,高可用,可扩展性强等特点,其设计允许简单的编程模型跨计算机集群处理大规模数据集,框架本身不依赖于硬件的可用性,而是利用设计在应用程序层检测和处理故障。Hadoop项目包含的组件模块有Common,HDFS,MapReduce,Y原创 2020-12-06 18:32:51 · 777 阅读 · 0 评论 -
hadoop命令使用put上传文件报错
在学习hadoop的过程中报错如下:WARN hdfs.DFSClient: DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException(java.io.IOException): File /input/README.txt._COPYING_ could only be replicated to 0 nodes instead o...原创 2018-03-18 15:46:43 · 6710 阅读 · 3 评论 -
win10系统eclipse中整合hadoop错误
java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createFileWithMode0(Ljava/lang/String;JJJI)Ljava/io/FileDescriptor;在搭建hadoop和eclipse的开发环境遇到了这个问题,特此记录下来。解决办法:重写NativeIO.j...转载 2018-04-03 20:38:05 · 353 阅读 · 0 评论