等风等雨等你

一个有趣的灵魂

2018最常用大数据业务监控项目方案流程解析(文章结尾内附重大干货和福利)

         根据监控对象的不同,监控系统可以分为系统监控、应用监控和业务监控。“实时交易监控系统”属于业务监控,主要用于监控客户的购买行为及订单情况,一般用于支持公司的日常运营决策和重大营销活动,如“双11”、“双12”及“双旦”等,对数据的实时性要求较高。“实时交易监控系统”对数据的一般处...

2018-09-05 14:53:03

阅读数 989

评论数 0

使用Scala开发Apache Kafka的TOP 20大好用实践

Apache Kafka是一个广受欢迎的分布式流媒体平台,New Relic、Uber以及Square等数千家公司都在使用它构建可扩展、高吞吐量、可靠的实时流媒体系统。例如,New Relic的Kafka集群每秒处理超过1500万条消息,总数据速率接近1 Tbps。   整理了一份2018年合...

2018-12-24 20:07:11

阅读数 83

评论数 0

flink内部计算指标的95线-99线等的实现

15年在某电商从0设计了一个通用的API监控系统,当时只是计算了成功率+平均耗时,没有算75,90,95,99,999,9999线,这次单位需要,所以促使我去思考这个问题,问了单位CAT维护人员,大致了解了计算方式,跟我在18年7月份在单位内网BBS发表的文章思路是一致的,所以就直接写了下面的代码...

2018-12-24 19:50:24

阅读数 429

评论数 1

深度预警:深入理解HBase的系统架构

HBase的构成 物理上来说,HBase是由三种类型的服务器以主从模式构成的。这三种服务器分别是:Region server,HBase HMaster,ZooKeeper。 其中Region server负责数据的读写服务。用户通过沟通Region server来实现对数据的访问。 HBa...

2018-12-24 17:30:28

阅读数 82

评论数 0

程序员:我这个月外快赚了2w多!

在大多数看来,程序员的整体平均薪资算是比较高的。但其实几千到几万不等,除了刚入门的程序员和有几年开发经验程序员在能力和经验上导致的薪资差距外,其实还有一个很重要的因素:“睡”后收入。先来看看你是哪种程序员? 你是哪种程序员? 第一种程序员: 上班8小时,收益一次。投入大量精力和时间,只有固定...

2018-12-24 15:46:17

阅读数 1045

评论数 1

华为、阿里,终有一战:先从抢人开始!

  一名在华为干了八年的老员工最近拿了阿里的offer,有些纠结,其毕业后就在华为工作,一干就是八年,级别也到了令人羡慕的18级,最近其试着跳槽,拿到了阿里P8级别。按理说这级别也不低了,但就是工资不太美丽,于是一顿吐槽:华为应届8年18级,目前收到阿里的offer,p8,薪资45k,股票若干,...

2018-12-24 14:00:35

阅读数 176

评论数 0

程序员失误造成服务停用3小时,只得到半月辞退补偿,发帖喊冤

一般情况来说,做技术的程序员大部分都是比较细心的,因为这个职业容不得下你粗心,一个小小的失误如果放在关键的地方将会酿造巨大的损失,成百倍千倍的放大,当然程序员也是人,是人都有可能有失误的地方,于是就需要测试人员专职进行对功能的复核,通过这种方式来来最大限度避免一些损失的发生,即便如此,也有可能有一...

2018-12-23 17:08:58

阅读数 228

评论数 0

小议Lambda与Kappa架构,不可变数据的计算探索

Lambda架构说起来也很简单,就是通过分布式系统的组件搭建,设计出一个具有鲁棒性,可扩展,低延时的分布式计算系统。之所以称之为Lambda架构,就是它最为核心的点就是理由了数据处理过程之中的不可变性与无依赖性。 Lambda架构说起来也很简单,就是通过分布式系统的组件搭建,设计出一个具有鲁棒性...

2018-12-23 16:29:49

阅读数 103

评论数 0

程序员晒出从毕业到工作5年照片,抱怨头发掉光了,网友:很真实

在很多人印象中,程序员这个工作标签还是很明显的,那就是工资高、光头,单身,用这3个词最能能描述程序员的特征。最近在网上看到有程序员晒出自己从毕业到工作5年的照片,抱怨头发都掉光了。有网友看到后说,这很真实,也是你的资历证明。 我们仔细看这个程序员的照片,刚毕业时,还是有着茂密的头发,看起来也比较...

2018-12-23 16:19:28

阅读数 1021

评论数 1

大数据分析技术与实战之 Spark Streaming

Spark是基于内存的大数据综合处理引擎,具有优秀的作业调度机制和快速的分布式计算能力,使其能够更加高效地进行迭代计算,因此Spark能够在一定程度上实现大数据的流式处理。 随着信息技术的迅猛发展,数据量呈现出爆炸式增长趋势,数据的种类与变化速度也远远超出人们的想象,因此人们对大数据处理提出了更...

2018-12-23 14:31:04

阅读数 82

评论数 0

程序员羡慕地铁口卖饼夫妻:一个月能赚五万多,比写代码强多了

三百六十行,行行出状元。可惜每个行业的人都羡慕另外行业的人,就像围城效应一样,一名程序员就在网络上感慨起来:高新园某地铁口附近,卖饼的夫妻跟我说,一个月能赚五万多的样子,就是凌晨三点要起床和面,唉,好羡慕,比写代码强多了。 有程序员据此算了一笔账:平均赚2.5万一个,无社保奖金,早上3点到下...

2018-12-23 10:27:48

阅读数 295

评论数 0

30岁以上简历基本不看 互联网人的苦日子来了?

任何行业都有生命周期,过惯了好日子的互联网人,接下来可能要调整调整心态、适应新节奏了。 12月末,北京气温多次降至零下十度以下,最冷的日子到了。 和寒流一起到来的,是互联网企业减员的消息。从知乎、锤子、美团到京东、腾讯、阿里,据《21CBR》记者统计,过去的半年里,至少有11家企业相继被传裁员...

2018-12-21 22:23:22

阅读数 173

评论数 0

解读 2018:13 家开源框架谁能统一流计算?

2018 年接近尾声,I我策划了“解读 2018”年终技术盘点系列文章,希望能够给读者清晰地梳理出重要技术领域在这一年来的发展和变化。本文是实时流计算 2018 年终盘点,作者对实时流计算技术的发展现状进行了深入剖析,并对当前大火的各个主流实时流计算框架做了全面、客观的对比,同时对未来流计算可能的...

2018-12-21 19:24:51

阅读数 264

评论数 0

阿里重磅开源 Blink:为什么我们等了这么久?

今年,实时流计算技术开始步入主流,各大厂都在不遗余力地试用新的流计算框架,实时流计算引擎和 API 诸如 Spark Streaming、Kafka Streaming、Beam 和 Flink 持续火爆。阿里巴巴自 2015 年开始改进 Flink,并创建了内部分支 Blink,目前服务于阿里集...

2018-12-21 17:01:30

阅读数 1437

评论数 0

Hive实践分享之存储和压缩的坑

在学习大数据技术的过程中,HIVE是非常重要的技术之一,但我们在项目上经常会遇到一些存储和压缩的坑。 大家都知道,由于集群资源有限,我们一般都会针对数据文件的「存储结构」和「压缩形式」进行配置优化。在我实际查看以后,发现集群的文件存储格式为Parquet,一种列式存储引擎,类似的还有ORC。而文...

2018-12-21 15:20:49

阅读数 37

评论数 0

程序员小伙网吧写代码莫名其妙挨顿打?

事情是这样子的,那位程序员家里电脑坏了,又有一个很急的项目要赶,就在小区楼下的网吧去写代码!由于时间很急,项目有很大,程序员的思路必须非常清晰,不能被打断。而在另一旁两个小伙正在双排撸啊撸,大声喊,“我拿红”“他们在打龙”“快来,快来中路团一波”…… 程序员思路屡屡被打断,就提醒了那两位小伙子,...

2018-12-21 14:03:04

阅读数 129

评论数 0

Hadoop中Hive原理及安装

Hive是什么(官网概念) Apache Hive™数据仓库软件有助于使用SQL读取,写入和管理驻留在分布式存储中的大型数据集。可以将结构投影到已存储的数据上。提供命令行工具和JDBC驱动程序,用于将用户连接到Hive。整理了一份适合2018年学习的大数据资料需要的加群QQ群:834325294...

2018-12-20 22:19:50

阅读数 56

评论数 0

程序员吐槽工资和Bug数量挂钩!网友:不写代码就能最高绩效

  相信大家都知道,每一个项目是否能够上线都是又Bug大小和数量来决定的,Bug多了会影响用户的体验,到时候不仅会给公司带来经济损失,对公司的名声也会有一定的影响,而到最后背锅的还是测试人员和开发人员。所以有的公司为了防止出现这种状况,会要求项目的Bug数量尽量少! 这位程序员的公司就实行...

2018-12-20 20:51:37

阅读数 49

评论数 0

Flink1.7稳定版发布:新增功能为企业生产带来哪些好处

1.Flink1.7开始支持Scala哪个版本? 2.Flink1.7状态演变在实际生产中有什么好处? 3.支持SQL/Table API中的富集连接可以做那些事情? 4.Flink1.7新增了哪些连接器 Apache Flink社区宣布Apache Flink 1.7.0发布。 最新版本...

2018-12-20 19:28:37

阅读数 61

评论数 0

彻底明白Hadoop map和reduce的个数决定因素

Hadoop map和reduce的个数设置,困扰了很多学习Hadoop的成员,为什么设置了配置参数就是不生效那?Hadoop Map和Reduce个数,到底跟什么有关系。首先他的参数很多,而且可能随着版本不同一些配置参数,会发生一些变化,但是只要我们搞懂核心问题,那么其它在变,我们都能确...

2018-12-20 19:22:07

阅读数 82

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭