大数据
文章平均质量分 52
a2370889_com
这个作者很懒,什么都没留下…
展开
-
Hadoop启蒙demo——单词统计WordCount(Intellij IDEA版)
写在代码之前 在网上搜了很多都说要打包jar,或者需要在环境变量中写入,比较繁琐。但是笔者写的这个代码也是能直接跑的,正常输出结果。主要是要有下面这行代码,会在控制台打印出运行结果并在完成后退出,这样看着比较直观一点。 System.exit(job.waitForCompletion(true) ? 0 : 1); Mapper类 import org.apache.hadoop....原创 2018-06-04 15:42:59 · 631 阅读 · 0 评论 -
Hadoop初窥学习笔记
Hadoop核心组件 Hive 功能:用于将SQL语句转化为可执行的Hadoop任务,降低了使用门槛 Hbase 类型:存储结构化数据的分布式数据库 区别:放弃传统关系型数据库事务的特性,追求更高的扩展。并且提供对数据的随机读写和实时的访问,实现对表数据的读写功能 Zookeeper 功能:提供分布式一致性 HDFS 概念:Hadoop的文件系统,将所有文件以块的形式存储...原创 2018-05-30 18:25:27 · 208 阅读 · 0 评论