大数据
文章平均质量分 71
1
爱折腾的小土豆
这个作者很懒,什么都没留下…
展开
-
Linux文件句柄数引发的故障
A. 一个系统可以打开的文件描述符数量即所有用户的所有进程打开的文件描述符总数量受file-max限制。B. 一个进程可以打开的文件描述符的数量小于hard limit,而hard limit的值要小于nr_open。但是实际能打开的文件描述符的最大数量还和系统资源有关。C. 一个用户可以打开的文件描述符数量等于一个进程可以打开的文件描述符的数量* 一个用户最大可以打开的进程数量。原创 2023-12-10 22:12:02 · 1079 阅读 · 0 评论 -
MySQL index column size too large. the maximum column size is 767 bytes问题解决
以前部署环境在初始化这一步,毫无问题,一马平川,今天栽倒在平川的坑洼中,需要挣扎一波。报错信息一看是是与mysql的版本有关系,果断查询业务方提供的mysql版本,结果给出MySQL5.7,到此这就问题原因出来了。无法相信自己的眼睛,果断重新执行,哇塞,毫无意外,果断报错。对sql脚本进行修改,在出问题的建表语句后面,添加ROW_FORMAT=DYNAMIC,更改建表的行格式,来规避MySQL5.7索引长度的问题;当场觉得庆幸,辛苦检查了一波,要不然等交付后,出问题了,要背一个大龟壳,享受万夫所指…原创 2023-12-10 11:02:13 · 1106 阅读 · 0 评论 -
TCP基础概念了解
TCP(传输控制协议)是一种面向连接的、可靠的、基于字节流的传输层通信协议,它完成第四层传输层所指定的功能。TCP 协议的特点是:面向连接:一定是「一对一」才能连接,不能像 UDP 协议可以一个主机同时向多个主机发送消息,也就是一对多是无法做到的。可靠交付:无论的网络链路中出现了怎样的链路变化,TCP 都可以保证一个报文一定能够到达接收端。面向字节流:也就是说仅仅把上层协议传递过来的数据当成字节传输。我们主要来了解TCP的三次握手和四次挥手。原创 2023-12-09 22:29:34 · 1128 阅读 · 0 评论 -
TCP连接数的那些事
在实际工作中,特别运维职业过程中,查询服务器的TCP是一个必备的技能,比如在工作中,开发反馈某个IP连接不上每个服务器、某台服务器突然登录不上、或者开发提供一个IP+端口需要你查询这个IP是什么服务,等等。,这个时候查询服务器的TCP服务就显得尤为重要,下面就直接展示工作中实际运用的命令;net.ipv4.tcp_tw_recycle = 1 表示开启TCP连接中TIME-WAIT sockets的快速回收,默认为0,表示关闭;3、统计已连接上本台服务器的主机,状态为"established"的个数。原创 2023-12-09 21:42:21 · 407 阅读 · 0 评论 -
spark任务执行流程及数据本地化介绍
Spark中数据的本地化方式分为5种,优先级依次是1到5PROCESS_LOCAL:进程本地化;表示 task 要计算的数据在同一个 Executor 中;如图:NODE_LOCAL:节点本地化;速度稍慢,因为数据需要在不同的进程之间传递或从文件中读取。分为两种情况,第一种:task 要计算的数据是在同一个 worker 的不同 Executor 进程中。第二种:task 要计算的数据是在同一个 worker 的磁盘上,或在 HDFS 上恰好有 block 在同一个节点上。原创 2023-07-02 23:27:06 · 237 阅读 · 0 评论 -
在yarn的web原生界面上,点击ApplicationMaster无法看到SparkWebUi界面的问题解决
Yarn web proxy是YARN的一部分。默认情况下,它将作为资源管理器(RM)的一部分运行,但可以配置为以独立模式运行。代理的原因是为了缓解RM访问请求压力,也可以减少通过YARN进行基于网络的攻击的可能性。原创 2023-07-02 23:01:18 · 470 阅读 · 0 评论 -
hadoop 修改参数后刷新查看配置
我们经常会调整hadoop集群的参数,然后希望不重启集群,在线更新配置,然后查看配置是否生效。1.hadoop hdfs 刷新配置bin/hdfs dfsadmin -refreshSuperUserGroupsConfiguration2.yarn 刷新配置bin/yarn rmadmin -refreshSuperUserGroupsConfiguration3.hadoop HA高可用刷新配置如果集群配置了HA,需要在为主备namenode(node000和no..原创 2023-07-02 07:51:15 · 414 阅读 · 1 评论