自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(29)
  • 收藏
  • 关注

原创 程序员学英文之At the Airport & Customs

At the Airport & Customs

2025-02-14 17:23:28 228

原创 大数据学习之PB级百战出行网约车二

PB级网约车项目解析

2025-02-13 14:45:22 811

原创 大数据学习之SparkStreaming、PB级百战出行网约车项目一

是核心Spark API的扩展,支持实时数据流的可扩展、高吞吐量、容错流处理。用于流式数据的处理。支持的数据输入源很多,例如:KafkaFlumeHDFSKinesis和TCP套接字等等。数据输入后可以用Spark的高级函数(如mapreducejoin和window等进行运算。而结果也能保存在很多地方,如HDFS,数据库和实时仪表板等。还可以可以在数据流上应用Spark的机器学习和图形处理算法。接收实时输入数据流,并将数据分为多个批次,然后由。

2025-02-11 22:38:01 789

原创 云计算学习之OSS-CDN产品部署、弹性伸缩-NAT、Ansible-Ad-hoc

运维常说的 5个9、4个9、3个9 的可靠性,到底是什么鬼?_运维4个9-CSDN博客OSS1.创建bucket2.创建子账号 进入bucket-->权限控制-->访问控制RAM--> 访问控制RAM-->前往RAM控制台--用户:创建用户3.授权子账号管理bucket4.oss后台存储增加oss存储 上传图片测试RDS数据库服务-mysql 7.1)RDS-MySQL架构 主从 7.1) 购买RDS数据库 7.2) 配置白名单(允许谁能连接),获取RDS内网数据库地址

2025-02-10 16:37:01 1306

原创 大数据学习之SparkSql

网址:Spark SQL是Spark的一个模块,用于处理结构化的数据。SparkSQL特点1易整合无缝的整合了SQL查询和Spark编程,随时用SQL或处理结构化数据。并且支持多语言JavaScalaPythonR。2统一的数据访问使用相同的方式连接不同的数据源或不同的文件格式中的数据。3兼容Hive在已有的数据仓库上直接运行SQL或者HiveQL,也可以使用SparkSQL直接处理数据并生成Hive数据表。14标准的数据连接。

2025-02-08 18:45:50 1360

原创 云计算学习之Tomcat应用部署、ECS业务部署、RDS-NAS

``bash1.安装JDK[root@web01 ~]# ll jdk-8u181-linux-x64.rpm -rw-r--r-- 1 root root 170023183 Aug 20 09:31 jdk-8u181-linux-x64.rpm安装[root@web01 ~]# rpm -ivh jdk-8u181-linux-x64.rpm warning: jdk-8u181-linux-x64.rpm: Header V3 RSA/SHA256 Signature, key ID ec

2025-02-06 18:35:07 1174

原创 大数据学习之Spark分布式计算框架RDD、内核进阶

演示代码://获取当前RDD的分区数@Since"1.6.0"final defIntpartitionslength//显示出RDD被分配到不同分区的信息array.*/defglom():RDDArrayT]]123456packagecomitbaizhanrdd//1.导入SparkConf类、importorgapachesparkrddRDDimportorgapachespark.{

2025-02-05 11:46:33 1291

原创 程序员学英文之At the Airport & Customs

程序员学英文 At the Airport & Customs

2025-01-31 20:04:25 763

原创 云计算学习之KEEPALIVED高可用、NGINX性能优化、TOMCAT部署

``bash1.LB01 nginx负载均衡 keepalived https2.LB02 nginx负载均衡 keepalived httpsNginx服务+PHP服务+会话保持wordpresszhphpmyadmin业务静态文件挂载到NFS动态数据连接到db014.db01 mariadb服务 redis服务5.nfs nfs-utils服务 lsync实时同步静态数据到backup服务的nfs目录下。

2025-01-30 20:21:26 1338

原创 大数据学习之Kafka消息队列、Spark分布式计算框架一

参数 值 描述

2025-01-28 23:29:35 2120 3

原创 云计算架构学习之动静分离、rewrite跳转、https证书配置

云计算架构学习之动静分离、rewrite跳转、https证书配置

2025-01-26 23:21:15 1211

原创 大数据学习之SCALA分布式语言三

添加元素,原数组改变,并返回改变后的数组。中的元素不论通过怎样的操作都无法进行修。集合中的键值对转换为字符串,键值对。集合不可以转换为其它类型的集合。mkString("分隔符")update(1,"刘玄德")添加数组元素,创建新数组对象。之间使用指定的符号分割元素,存在则修改,不存在则添加。将可变数组转化为不可变数组。将不可变数组转化为可变数组。集合转换为其它类型的集合。集合转换为其它类型的集合。可以添加一个,也可以同时。中的元素可以进行修改。添加集合中的全部元素。的不可变指的是堆内存中。

2025-01-24 16:21:36 1815

原创 云计算架构学习之LNMP架构部署、架构拆分、负载均衡-会话保持

1.磁盘信息2.内存3.负载信息4.Nginx你们公司都用来干嘛5.文件句柄(文件描述符 打开文件最大数量)6.你处理过系统中的漏洞吗 SSH漏洞7.你写过什么shell脚本8.监控通过什么告警 zabbix 具体监控哪些内容9.mysql redis查询 你好HR我这边面完了,但是面试官啥技术都没问题.我也不知道是啥问题。要不您这边先沟通一下,有什么问题您给我联系。```bash#需要再php的配置文件中写入数据库的IP+端口+用户名+密码可以测试是否连接数据库[root@w

2025-01-22 17:58:14 1511

原创 计算机数据提取与固定

电子数据取证,计算机取证

2025-01-13 22:51:54 350

原创 程序员学英文之Greetings 、Introductions &Sight-Seeing

程序员学英文之Greetings 、Introductions &Sight-Seeing

2025-01-10 21:08:06 869

原创 Scala分布式语言二(基础功能搭建、面向对象基础、面向对象高级、异常、集合)

Scala是一门完全面向对象的语言,摒弃了Java中很多不是面向对象的语法。虽然如此,但其面向对象思想和Java的面向对象思想还是一致的。//包声明packagecomitbaizhanchapter04//类定义classPointxcIntycInt) {//属性varxIntxcvaryIntyc//方法defmovedxIntdyInt) {xxdxyydy95面向对象基础包含:包。

2025-01-09 11:57:54 803

原创 云计算学习架构篇之HTTP协议、Nginx常用模块与Nginx服务实战

``bash 部署服务端: 1.安装服务 [root@backup ~]# yum -y install rsync。

2024-12-29 11:55:21 1446

原创 大数据学习之Redis 缓存数据库二,Scala分布式语言一

防止网卡流量、慢查询,string类型控制在10KB以内,hashlistsetzset元素个数不要超过5000。表名 主键 主键值 存储列名字查询这个用户162禁止线上使用keysflushallflushdb等,通过redis的rename机制禁掉命令,或者使用scan的方式渐进式处理。redis的多数据库较弱,使用数字进行区分,很多客户端支持较差,同时多业务用多数据库实际还是单线程处理,会有干扰。原生命令:例如mgetmset。

2024-12-26 13:59:41 1390

原创 云计算架构之系统优化、Rsync-NFS服务、LSYNC实时同步实战

1.vim编辑过程中出现提示如何处理在编辑一个文件的1.txt时候系统会自动的生成.1.txt.swp隐藏文件如果正常保存退出,则系统自动将.1.txt.swp移动成1.txt两种解决方式第一种 需要修改后的内容-r恢复修改后的内容然后直接回车 输入:wq保存并退出然后再删除.swp文件即可第二种 不需要修改后的内容rm-f.1.txt.swp在编辑文件即可出现swp的原因1编辑过程中直接关闭了xshell2断电3。

2024-12-23 19:29:26 732

原创 大数据学习之Elasticsearch 分布式搜索和Redis 缓存数据库一

PUT /studentPOST /student/_mapping{ "properties":{ "id":{ "type":"integer" }, "name":{ "type":"text" }, "age":{ "type":"integer" } }}

2024-12-21 22:50:03 1170

原创 程序员学英文之Easy Shopping

励志箴言: Going hiking alone is full of adventures. 一个人徒步旅行充满了风险。 My nephew works for a joint venture in Shenzhen. 我侄子/外甥在深圳一家风险合资企业工作。The Adventures of Tom Sawyer is the masterpiece of Mark Twin. 《汤姆索亚历险记》是马克.吐温的代表作。 Nothing ventured, nothing gained. 不入虎穴焉得虎

2024-12-19 09:49:10 703

原创 云计算学习之DNS-TCP协议、基础阶段总结一、基础阶段总结二

### 3. 网络层次结构***1. 网络拓扑\***```网络层次结构 核心层:主要部署路由器设备,用于连接外网线路,还要具备冗余能力 汇聚层:主要部署三层交换设备,用于相应安全访问控制 进行链路汇聚 接入层:主要部署二层交换设备,用于终端设备接入 一层交换机:只支持物理层协议。二层交换机:支持物理层和数据链路层协议。三层交换机:支持物理层,数据链路层及网络层协议。``` 基本网络层次划分标准示意图***2. 网络类型\***``` 局域

2024-12-18 22:23:28 1254

原创 云计算学习之磁盘管理案例、进程管理、交换路由器配置

实例企业中遇到无法远程连接拍错流程: IDC机房服务器 云服务器1.ping通2.通过页面或者机房插显示器连接服务器抓包3.在公司windows电脑使用telnet连接测试cmd窗口-->telnet 服务器IP地址 12345结果:1.如果服务端可以看到来源公网IP地址 说明服务端做的限制2.如果服务端来源IP地址不是公司公网IP地址 则需要放行抓取到的公网(打电话解决)3.如果服务端收不到任何信息,说明是公司网络问题保存到文件中查看文件中的内容。

2024-12-16 21:42:35 1135

原创 云计算学习之系统优化、定时任务、磁盘管理

windows磁盘默认的是MBR格式MBR格式最多支持4个主分区 C D E FMBR格式支持3个主分支+1个扩展分区Linux磁盘表示方法:```bashsda # 表示第一块磁盘sda1 # 表示第一块磁盘的第一个分区sda2 # 表示第一块磁盘的第二个分区sdb # 表示第二块磁盘sdb1 # 表示第2块磁盘的第1个分区sdb5 # 表示第2块磁盘的第1个逻辑分区```Linux磁盘分区:```bash1.系统分区。

2024-12-15 19:18:46 1300

原创 大数据学习之万亿级电商日志离线分析系统二

上接:<<241204大数据学习之HIVE安装、日志采集FLUME>>PART三五.数据来源设计5.1数据来源分析_JS代码分析5.1.1JS代码分析一5.1.2JS代码分析二5.1.3JS代码分析三5.1.4JS代码分析四5.1.5JS代码分析五5.1.6JS代码分析六5.2数据来源分析_JAVA代码CHARGESUCCESS分析

2024-12-14 07:41:33 1074

原创 程序员学英文之Marketing&Making Investment

Dialogue-: 3你能把这款产品的一些特性给我描述一下吗?不好意思,我刚刚走神了,你能再说一遍吗?bothered / disturbed by some trivial things.专注于你应该做的事情上,不要被一些琐碎的事情所干扰。Chinese people across China. 过去春节联欢晚会很受全中国人民欢迎。Dialogue-: 4United States. 在美国一些IT公司,弹性工作制很受欢迎。我老板听到这个消息大发雷霆/怒发冲冠。5. Our boss is demand

2024-12-09 18:48:13 640

原创 云计算学习之三剑客awk命令和软件安装-find文件查找

作用: 根据不同的文件类型查找出想要的文件语法结构:find 在哪里找 找什么类型的 # 格式1find /data 按照名称查找 # 格式2文件类型:f # 表示普通文件d # 表示目录l # 表示链接文件c # 表示字节设备b # 表示块设备 /dev/sda 磁盘 光驱。

2024-12-07 16:53:13 1126

原创 241204大数据学习之HIVE安装、日志采集FLUME

许多公司的业务平台每天都会产生大量的日志数据。收集业务日志数据,供离线和在线的分析系统使用,正是日志收集系统的要做的事情。高可用性,高可靠性和可扩展性是日志收集系统所具有的基本特征。目前常用的开源日志收集系统有等。Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,目前已经是Apache的一个子项目。Scribe是Facebook开源的日志收集系统,它为日志的分布式收集,统一处理提供一个可扩展的,高容错的简单方案。官网地址。

2024-12-06 16:13:17 919

原创 241203云计算学习之SSH服务、权限管理、正则表达式、SED命令详解

umask作用决定默认创建文件和目录的权限默认文件权限:644默认目录的权限:755umask修改为032umask 032案例1:umask值修改为044文件权限:666-044=622目录权限:777-044=733。

2024-12-04 11:30:57 939

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除