大数据
文章平均质量分 93
freshru
这个作者很懒,什么都没留下…
展开
-
为什么 Kafka 依赖 ZooKeeper?
一、ZooKeeper 简介1.基本介绍 ZooKeeper 的官网是:Apache ZooKeeper。在官网上是这么介绍 ZooKeeper 的:ZooKeeper 是一项集中式服务,用于维护配置信息,命名,提供分布式同步和提供组服务。 当我们编写程序的时候,通常会将所有的配置信息保存在一个配置文件中,例如账号、密码等信息,后续直接修改配置文件就行了,那分布式场景下如何配置呢?如果说每台机器上都保存一个配置文件,这时候要一台台的去修改配置文件难免出错,而且要管理这些机器也会变得复杂和困难转载 2021-11-25 22:19:30 · 3754 阅读 · 0 评论 -
scala 学习
主要转载自十二步学会Scala,主要是翻译自《Programming in scala》,下载了一本中文翻译的版本《scala 编程》,感觉翻译的好差,博客中讲的还好!http://alanwu.iteye.com/blog/477653转载 2015-05-24 16:46:09 · 401 阅读 · 0 评论 -
windows环境下搭建spark
Spark Windows 调试环境搭建教程本教程介绍的是Windows环境下的Spark调试环境的搭建步骤。 主要参考文章:http://wenku.baidu.com/link?url=ZVIXNbwGZE4Z41zvG6UBO911urnYDRzNJgc6LfcMyh-u896L92lAV1qitmeTsdMREb2hJAcfGjOd3ZI67X9CjkDS7CjchyhGXMu原创 2015-05-14 20:50:41 · 1340 阅读 · 0 评论 -
spark 单机模式配置
折腾了好几天,开始在windows上直接拿源码编译,中间出现各种问题,最后样例运行不了,各种找解决方案,也没成功。后来又换到Linux上,折腾了一下午终于成功了。首先贴出参考文章:http://blog.csdn.net/hxpjava1/article/details/19177913#t7步骤基本是相同的,不同的就是我遇到了一些错误,找的别的解决方案。首先需要准备的环境:原创 2015-05-17 16:55:16 · 1366 阅读 · 0 评论 -
Spark 中LocalKmeans算法详解
一、Kmeans算法思想Kmeans算法的具体思想这里省略。Kmeans算法实现步骤一般如下:1、从D中随机取k个元素,作为k个簇的各自的中心,或者随机生成k个中心元素。2、分别计算剩下的元素到k个簇中心的相异度,将这些元素分别划归到相异度最低的簇。3、根据聚类结果,重新计算k个簇各自的中心,计算方法是取簇中所有元素各自维度的算术平均数。4、将D中全部元素按照新的中心重新聚原创 2015-11-06 10:14:55 · 1123 阅读 · 0 评论 -
在Apache Spark上跑Logistic Regression算法及其中的一些错误问题
在spark上跑Logistic Regression算法,主要参考文章http://mp.weixin.qq.com/s?__biz=MzA4Mzc0NjkwNA==&mid=209693842&idx=2&sn=b276dd93fd68e8a948d71a870deb7237&scene=5&srcid=4DbxDWAICfegAjjGyisg#rd这是微信上分享的一篇文章,同时文章http:原创 2015-08-26 22:01:24 · 2102 阅读 · 0 评论 -
Hadoop WordCount 详解
mapreduce运行机制,这些按照时间顺序包括:输入分片(input split)、map阶段、combiner阶段、shuffle阶段和reduce阶段。 输入分片(input split):InputSplit是Hadoop定义的用来传送给每个单独的map的数据,在进行map计算之前,mapreduce会根据输入文件计算输入分片(input split),每个输入分片(input s原创 2015-10-30 20:39:41 · 1698 阅读 · 0 评论 -
Windows 远程连接Hbase常见错误
错误1:15/10/13 16:49:04 WARN zookeeper.RecoverableZooKeeper: Possibly transient ZooKeeper, quorum=localhost:2181,exception=org.apache.zookeeper.KeeperException$ConnectionLossException: Keepe原创 2015-10-30 20:48:32 · 5511 阅读 · 0 评论