大数据
文章平均质量分 81
天崩地裂鬼见愁
这个作者很懒,什么都没留下…
展开
-
大数据研发工程师应该知道的一些专业名词
QPS、TPS、PV、UV、GMV、IP、RPS等各种名词,外行看起来很牛X,实际上对程序员来说都是必懂知识点。下面我来一一解释一下。1.QPSQueries Per Second,每秒查询数。每秒能够响应的查询次数。QPS是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准,在因特网上,作为域名系统服务器的机器的性能经常用每秒查询率来衡量。每秒的响应请求数,也即是最大吞吐能力。2.TPSTransactions Per Second 的缩写,每秒处理的事务数目。一个事务是指一个客户机向服转载 2020-12-24 10:47:52 · 286 阅读 · 1 评论 -
Redis高可用技术解决方案
本文主要针对 Redis 常见的几种使用方式及其优缺点展开分析。Redis常见的几种主要使用方式:Redis 单副本Redis 多副本(主从)Redis Sentinel(哨兵)Redis ClusterRedis 自研Redis各种使用方式的优缺点:1.Redis单副本Redis 单副本,采用单个Redis节点部署架构,没有备用节点实时同步数据,不提供数据持久化和备份策略,适用于数据可靠性要求不高的纯缓存业务场景。优点:1、架构简单、部署方便2、高性价比,当缓存使用时无需备用节点转载 2020-12-24 10:36:36 · 138 阅读 · 0 评论 -
阿里巴巴为什么能抗住90秒100亿?看完这篇你就明白了!
阿里巴巴为什么能抗住90秒100亿?看完这篇你就明白了!1、概述本文以淘宝作为例子,介绍从一百个并发到千万级并发情况下服务端的架构的演进过程,同时列举出每个演进阶段会遇到的相关技术,让大家对架构的演进有一个整体的认知,文章最后汇总了一些架构设计的原则。2、基本概念在介绍架构之前,为了避免部分读者对架构设计中的一些概念不了解,下面对几个最基础的概念进行介绍。1)什么是分布式?系统中的多个模块在不同服务器上部署,即可称为分布式系统,如Tomcat和数据库分别部署在不同的服务器上,或两个相同功能的To转载 2020-12-23 11:30:23 · 155 阅读 · 0 评论 -
CDH MR/Spark On Yarn如何查看对应的日志--写给CDH小白的一封信
如何合理且快速的根据日志去定位问题1. 前言我相信不只我一个人在刚使用CDH时提交第一个yarn作业后不知道如何去查看日志,而且在一些企业对服务器和域名权限有严格的控制,就算是yarn界面上有对应链接,未必点的进去,最近本人一直在研究CDH,无论CDH还是HDP或者华为的大数据平台,在这里有着通用的思路,现在分享给疑惑的入道新人,写的比较糙,请多直接;2.案例2.1 提交作业在yarn界面列表如下2.1.2 作业主体2.1.2 作业分支2.2 解析作业主体:指的是你提交作业后在yarn原创 2020-12-22 18:17:37 · 845 阅读 · 0 评论 -
CDH6.2部署详细教程
图片太多。。。本人比较懒,后续再上传吧1.硬盘挂载(每台服务器上都操作)1.1 检查阿里云服务器数据盘情况fdisk -l1.2 挂载阿里云数据硬盘fdisk /dev/vdb输入"fdisk /dev/vdb",然后根据下图的提示,输入n,p,1,回车,回车,wq,保存退出。完毕之后输入fdisk -l1.3 格式化分区及挂载目录1.3.1 格式化挂载数据硬盘分区mkfs.ext3 /dev/vdb11.3.2 创建目录挂载如果我们安装的是LNMP/AMH一键包,原创 2020-12-22 17:40:26 · 792 阅读 · 0 评论 -
CloudManager之HUE下的workflow踩坑路
由于工作需要个人就部署了一套基于cloudmanager的CDH,其中的坑似乎永远也填不完。。。。话不多说,进入正题这是我在使用CM的hue所遇到的坑,然后根据网上的启发自己所摸索出的一套解决方案,希望对大家有所帮助遇到的第一个问题如下图:...原创 2019-05-20 14:06:53 · 869 阅读 · 0 评论