自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

大数据开发架构师

大数据开发架构师

  • 博客(12)
  • 收藏
  • 关注

转载 服务端高并发分布式架构演进之路

1. 概述本文以淘宝作为例子,介绍从一百个到千万级并发情况下服务端的架构的演进过程,同时列举出每个演进阶段会遇到的相关技术,让大家对架构的演进有一个整体的认知,文章最后汇总了一些架构设计的原则。特别说明:本文以淘宝为例仅仅是为了便于说明演进过程可能遇到的问题,并非是淘宝真正的技术演进路径2. 基本概念在介绍架构之前,为了避免部分读者对架构设计中的一些概念不了解,下面对几个最基础的概念进行介绍:分布式 系统中的多个模块在不同服务器上部署,即可称为分布式系统,如Tomcat和数据库分别部署

2021-08-25 20:19:11 182

原创 常用正则表达式

一、校验数字的表达式数字:^[0-9]*$ n位的数字:^\d{n}$ 至少n位的数字:^\d{n,}$ m-n位的数字:^\d{m,n}$ 零和非零开头的数字:^(0|[1-9][0-9]*)$ 非零开头的最多带两位小数的数字:^([1-9][0-9]*)+(\.[0-9]{1,2})?$ 带1-2位小数的正数或负数:^(\-)?\d+(\.\d{1,2})$ 正数、负数、和小数:^(\-|\+)?\d+(\.\d+)?$ 有两位小数的正实数:^[0-9]+(\.[0-9]{2})?$

2021-08-13 11:11:57 72

原创 HIVE系统学习(二)

第六章、HiveQL查询1、查询语句["字段1","字段2"] -->select name,sub[0] from 表名:{"key":value} -->select name,sub["key"] from 表名 :{"key":value} --> select name,address.city from 表名2、使用正则表达式指定列name,'price.*' from 表名3、Hive中支持所有的典型的算术运算符4、Hive支持语句语句...

2021-08-05 20:33:06 94

原创 2021年7月中国编程语言排行榜

C语言从5月份重回第一之后就稳定了下来,这个月依然没有给Java夺回第一的机会,除了R语言跌出前十,排名与之对调的是汇编语言。

2021-08-03 19:34:41 3203

原创 HIVE系统学习(一)

第一章、基础知识1、Hive诞生背景Hive的出现是为了解决存储在HDFS之上的结构化和半结构化数据的存储和分析,通过他所提供的类似与SQL的HQL方便SQL用户有效的使用数据模型2、Hive使用场景Hive最适合于数据仓库应用程序,使用该程序进行相关的静态数据分析,不需要快速的相应给出结果,而且数据本身不会频繁的发生变化3、Hive缺点Hive不是一个完整的数据库Hive不支持记录级别的更新、插入、删除操作Hive查询延时较大Hive不支持事务Hive不符合AN..

2021-08-03 14:55:12 284

原创 DB2频繁出现死锁,常用解决问题的命令

--DB2频繁出现死锁,常用解决问题的命令db2 get snapshot for locks on sampledb2 get db cfg for sampledb2 update db cfg using dlchktime 10000-查看数据库管理器级别快照信息db2 get snapshot for dbm-查看数据库级别快照信息db2 get snapshot for database on dbname-查看应用级别快照信息db2 get snapshot for app

2021-07-16 16:35:32 604

原创 BD2错误代码含义

00000 操作执行成功,并且未产生任何类型的警告或异常情况。01002 发生 DISCONNECT 错误。01003 从列函数的参数消去 NULL 值。01004 字符串值在指定给具有较短长度的另一字符串数据类型时被截断。01005 SQLDA 中的条目数不够。01007 未授予特权。0100C 从过程返回了一个或多个特殊结果集。0100D 关闭的游标已在链中的下一个结果集上重新打开。0100E 生成的过程大于允许的最大结果集数目。只有第一个整数结果集已经返回到调用者。

2021-07-16 16:27:26 1429

原创 小渔村理解数据中台

这里写自定义目录标题欢迎使用Markdown编辑器![在这里插入图片描述](https://img-blog.csdnimg.cn/20210716161802347.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4OTkxOTY5,size_16,color_FFFFFF,t_70#pic_center)新的改变功能快捷键合理的创建标题

2021-07-16 16:20:36 71

原创 Flume定时启动任务 防止挂掉

一,查看Flume条数:ps -ef|grep java|grep flume|wc -l ==》15检查进程:给sh脚本添加权限,chmod 777 xx.sh123456#!/bin/shis_Engine_exist=$(ps -ef|grep java|grep flume|wc -l) if [ $is_Engine_exist -ne 15 ]...

2020-04-10 17:28:36 297

原创 数据库设计(一)——数据库设计

数据库设计(一)——数据库设计一、数据库设计简介按照规范设计,将数据库的设计过程分为六个阶段: A、系统需求分析阶段B、概念结构设计阶段C、逻辑结构设计阶段D、物理结构设计阶段E、数据库实施阶段F、数据库运行与维护阶段需求分析和概念结构设计独立于任何数据库管理系统。二、系统需求分析1、需求分析的任务需求分析的任务:对现实世界要处理的对象进行详细的调查,通过对原...

2019-03-07 18:07:15 345

原创 [shell]shell中if语句的使用

bash中如何实现条件判断?条件测试类型:整数测试字符测试文件测试一、条件测试的表达式:[ expression ] 括号两端必须要有空格[[ expression ]] 括号两端必须要有空格test expression组合测试条件:-a: and-o: or!: 非二、整数比较:-eq 测试两个整数是否相等-ne 测试两个整数是否不等-gt 测试一个数是否大...

2019-03-06 11:05:34 463 1

转载 友盟分享 | 移动大数据平台架构思想以及实践经验

移动大数据分析平台的架构思想及演进当问及加入友盟之后和之前工作有何不同时,吴磊这样回答,“之前工作主要是做数据搜索,大数据的源头和搜索引擎有分不开的联系,可以说,大数据是从搜索开始的,加入友盟之后,工作和之前有很多相似之处,只是最终的目标不一样。友盟架构很多方面和搜索引擎架构是有很多共通性的,但友盟有更多自己的特点,因为其更注重于数据分析。”Lambda混合架构思想友盟数据平台整体架构友盟的架构思...

2018-05-25 17:16:04 380

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除