大数据
披Zhe羊皮De狼
好记性不如烂笔头!
展开
-
Hadoop分布式文件系统-HDFS
Hadoop分布式文件系统-HDFS一、Hadoop概述1. Google集群系统Hadoop是Google集群系统的开源实现 (1)Google集群系统:GFS、MapReduce、BigTable (2)Hadoop:HDFS、MapReduce、HBaseHadoop的初衷是解决Nutch海量数据的爬取和存储Hadoop于2005年作为Lucene子...原创 2018-04-23 16:49:46 · 4687 阅读 · 0 评论 -
windows环境测试mapreduce程序之环境配置
场景描述:在windows环境中开发mapreduce程序并在本地测试运行时,出现下述错误提示:Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/Stri...原创 2018-04-25 15:15:00 · 638 阅读 · 0 评论