大数据
指尖星程
这个作者很懒,什么都没留下…
展开
-
spark windows java 单机搭建环境并且读取文本中字母数量
Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。原创 2016-12-26 12:03:49 · 1024 阅读 · 2 评论 -
Zeppelin安装教程
zeppelin 安装过程,包含jdk,spark,scala,zeppelin等环境的配置教程,算是本人的一点经验,其中还有本人在搭配过程中的问题以及解决办法原创 2017-01-13 15:42:57 · 4474 阅读 · 0 评论 -
spark集群搭建(Hadoop、Scala)
hadoop spark 集群搭建,并有jdk配置 和部分的hdfs 命令原创 2017-02-28 14:23:05 · 1533 阅读 · 0 评论 -
Java 写入hdfs程序代码
Java 写HDFS原创 2017-03-23 16:16:36 · 4748 阅读 · 0 评论 -
并行消费kafka存放本地文件
并行消费kafka存放本地文件原创 2017-03-23 16:20:10 · 4672 阅读 · 0 评论 -
hadoop,spark学习之路
自学hadoop,spark,其中的一点心得原创 2017-03-13 11:50:36 · 585 阅读 · 0 评论 -
spark zeppelin 问题集锦
配置并运行zeppelin以及spark 的时候出现的一些问题将记录在这里,后期将会不断的更新原创 2017-03-13 11:39:27 · 613 阅读 · 0 评论 -
单线程消费kafka存放到HDFS
Java消费kafka存放HDFS原创 2017-03-30 18:00:38 · 7011 阅读 · 0 评论