学习
文章平均质量分 96
chixushuchu
这个作者很懒,什么都没留下…
展开
-
Spark电商用户行为分析1
项目介绍技术框架spark core spark sql 以及spark streaming 进行离线和实时计算业务模块原创 2018-12-06 14:39:49 · 1231 阅读 · 0 评论 -
REDIS集群 基础知识总结
REDIS集群单机单点故障、瓶颈;多个节点负载;集群主从复制定义Replication镜像:增删改<主 退化至单节点> 查询负载到从节点实现高可用 Sentinel一个redis服务可以有多个该服务的复制品,这个redis服务称之为Master,其他称为slaves只要网络连接正常,Master和Slaves之间就会保持主从数据同步只有Master可以执行写命...原创 2019-01-07 10:55:04 · 1176 阅读 · 7 评论 -
Java与scala的选择问题
scala与java之间的那些事 scala与java之间的关系,我认为可以用一句话来开头:scala来源于java,但又高于java。 scala的设计者Martin Odersky就是一个JAVA控,这位牛人设计了javac和编写了jdk中的通用代码。可以说java语言本身就是Martin Odersky一步一步看着长大的。所以...转载 2018-12-26 09:40:14 · 300 阅读 · 0 评论 -
Spark 2.0 rpc架构的实现
在spark2.0中,用户文件与Jar的上传采用基于Spark内置RPC框架的NettyStreamManager节点间的Shuffle过程和Block数据的复制与备份采用Netty Spark RPC框架原创 2018-12-30 20:59:12 · 302 阅读 · 0 评论 -
Spark rdd 宽窄依赖
看到一篇很好的文章,转载过来了。感觉比《spark技术内幕》这本书讲的好多了。原文链接:https://www.jianshu.com/p/5c2301dfa3601.窄依赖窄依赖就是指父RDD的每个分区只被一个子RDD分区使用,子RDD分区通常只对应常数个父RDD分区,如下图所示【其中每个小方块代表一个RDD Partition】 窄依赖有分为两种:一种是一对一的依...转载 2018-12-30 19:10:05 · 344 阅读 · 0 评论 -
Spark java版本wordCount
创建文件here where my yourhello worldtest filejump you can you jump实现代码package cn.tukk.sparkproject.test.testOrder;import org.apache.spark.SparkConf;import org.apache.spark.SparkContext;import...原创 2018-12-17 13:52:03 · 3575 阅读 · 0 评论 -
如何转载别人博客
F12element 搜索 article_content然后有选择的粘贴div就好了原创 2018-12-19 18:12:01 · 139 阅读 · 0 评论 -
Spark实时数据来源3
数据埋点网站或者app。在网站/app哪些页面发生某些操作时,前段的代码(网站,js;app,android/ios)通过请求(Ajax)向后端服务器发送指定格式日志数据服务器采集日志和离线收集差不多,采集日志,放入指定文件夹。flume采集日志采集日志分为两份一份进入hdfs一份进入kafka实时消费Spark Streaming开发的,可以实时的从Kafka中拉取数据,然后对...原创 2018-12-06 15:57:00 · 607 阅读 · 0 评论 -
Spark离线日志采集流程2
数据来源互联网行业:网站、app、系统(交易系统)传统行业:电信、上网、打电话、发短信等数据源:网站、app,都会求后台发送请求,获取数据,app获取要展现的商品数据发送请求到nginx,进行转发服务器后台服务器,采用nginx来接收请求,并且后端接入tomcat集群/weblogic集群,进行高并发下的负载均衡所有的请求数据都封装为log存储起来,接收请求的后台系统按照规范,每接收...原创 2018-12-06 15:44:36 · 833 阅读 · 0 评论 -
kafka详细文章
KafkaKafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流...转载 2019-03-11 16:23:33 · 243 阅读 · 0 评论