![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
架构
文章平均质量分 88
tintinsnowy
这个作者很懒,什么都没留下…
展开
-
【大数据处理架构】3. kafka安装与使用
1.kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据Step 1: Download the codeDownload the 0.8.2.0 release and un-tar it.> tar -xzf kafka_2.10-0.8.2.0.tgz> cd kafka_2.10-0.8.2.0Ste原创 2015-08-16 11:08:34 · 953 阅读 · 0 评论 -
【大数据处理架构】1.spark streaming
1. spark 是什么?>Apache Spark 是一个类似hadoop的开源快速集群运算环境 与后者不同的是,spark更快(官方的说法是快近100倍)。提供高层JAVA,Scala,PythonI ,R API接口.并且提tools:Spark SQL for SQL 处理结构化数据, MLlib for machine learning, GraphX for gr原创 2015-08-16 09:44:11 · 830 阅读 · 0 评论 -
go language
https://go-zh.org/doc/installLinux、Mac OS X 和 FreeBSD 的安装包下载此压缩包并提取到/usr/local 目录,在/usr/local/go 中创建Go目录树。例如:tar -C /usr/local -xzf go$VERSION.$OS-$ARCH.tar.gz该压缩包的名称可能不同,这取决于你安装的Go原创 2015-08-18 17:00:15 · 942 阅读 · 0 评论 -
【大数据处理架构】2. 用sbt 构建工具 到spark cluster
我们使用 sbt 创建、测试、运行和提交作业。该教程会解释你在我们的课程中将会用到的所有 sbt 命令。工具安装页说明了如何安装 sbt。我们一般将代码和库做成jar包,通过spark-submit 提交到spark 集群上运行。1)下载安装: http://www.scala-sbt.org/2)创建工程:比如现在的工程名为“sparksample”。那么原创 2015-08-16 10:41:41 · 1063 阅读 · 0 评论 -
搭建博客工具
楔子喜欢写Blog的人,会经历三个阶段。 第一阶段,刚接触Blog,觉得很新鲜,试着选择一个免费空间来写。 第二阶段,发现免费空间限制太多,就自己购买域名和空间,搭建独立博客。 第三阶段,觉得独立博客的管理太麻烦,最好在保留控制权的前提下,让别人来管,自己只负责写文章。原创 2015-12-27 14:54:37 · 488 阅读 · 0 评论