- 博客(31)
- 资源 (2)
- 问答 (3)
- 收藏
- 关注
RSS订阅
原创 /lib64/libstdc++.so.6 version xxx not foud 问题解决
出现/lib64/libstdc++.so.6 version xxx not foud 问题是因为系统的libstdc++库版本过低导致。~/.bashrc中添加如下内容；具体路径根据实际情况填写。可以使用conda中的libstdc++库。
2022-11-23 14:03:53
659
1
原创 vim 系列文章 - 001 vim及neovim编译安装（文末有福利）
近期在使用vscode时远程连接服务器时经常有问题；使用起来十分难受，所以考虑转到vim本着有最新用最新的原则，我们使用最新版本；由于neovim编译过慢，文末有编译好的neovim；有需要的可自取
2022-11-23 12:16:05
1459
3
原创 python3.8+django2.2+xadmin
问题缘由最近将之前的django环境误删除了，这两天在适配django+xadmin时发现错误过多最终找到一个适配了的xadmin版本，安装命令如下pip install https://codeload.github.com/sshwsfc/xadmin/zip/django2
2021-09-02 15:58:34
234
原创 python终端崩溃，提示 Error in `python‘: free(): invalid pointer
问题现象python终端按回车键直接崩溃，提示报错：*** Error in `python’: free(): invalid pointer: 0x00007f13bf7a7af0 ***解决方法$ pip uninstall readline $ pip install gnureadline
2021-08-13 17:04:07
2468
原创 python安装apex(linux)
git clone https://github.com/nvidia/apexcd apexpip install -v --disable-pip-version-check --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./
2021-07-15 10:40:12
1000
1
原创 结合elk展示hadoop冷热数据
整体方案fsimage⽂件是hadoop⽂件系统元数据的⼀个永久性的检查点，其中包含hadoop⽂件系统中的所有⽬录和⽂件idnode的序列化信息；⽂件在hdfs主节点上⾃动更新利⽤HDFS oiv命令可以解析fsimage⽂件，解析后的⽂件放⼊ELK中即可进⾏集群元数据的详细分析。本⽅案的主要过程：1、通过hdfs oiv命令将最新的fsimage⽂件解析为csv格式的⽂件2、将csv⽂件通过filebeat导⼊elk中3、分析导⼊的csv⽂件4、根据分析结果联系⽤⼾检查数据是否可以删除
2021-07-06 10:49:58
358
原创 NetworkManager服务导致bond失效
背景近期有台hadoop机器网络异常，上面部署了zk和journalnode服务比较重要处理过程1、初步检查初期和集群内部分节点可以ping通，部分节点ping不通；联系网络组检查，没有发现什么问题使用单口测试，发现使用其中一个网卡时，和集群内其他节点完全ping不通，使用另一个网卡时问题复现2、换网卡网络组怀疑机器网卡有问题，换过网卡后问题依旧，初步判断交换机端口可能有问题；3、换交换机端口昨天使用单线连另一个网口时可以正常ping通；今天准备两根线都接到新的端口上（不同交换机）4、
2021-06-29 11:45:37
1628
原创 上半年 hdfs自动清理数据量统计
背景介绍之前写过一个hdfs自动清理的脚本，每天自动清理非重要目录下2个月前创建的文件今天需要统计下自动清理的数据总量；数据存放及格式之前删除时将待删除的数据按天统一存放了其中list结尾的是用作hdfs ls；以数字结尾的是待删除的文件列表统计数据总量]$ cat 2021*/*[0-9] |awk '{sum+=$5}END{print sum/1024/1024/1024/1024"TB"}'1869.17TB]$ cat 2021*/*[0-9] |awk '{sum+=$5
2021-06-23 09:56:16
133
原创 【shell学习|005】- 常用命令之其他基础命令
其他5个常用命令接上一节 【shell学习|004】linux上除了ls意外，还有几个其他的基础命令；这里做个简要介绍下如果感兴趣，可以man 各个命令，然后试验下各个参数的返回结果；下面进入介绍环节：1、cat： Displays a Text File 显示文本文件cat 实用程序显示文本文件的内容。命令的名称是派生的来自 单词catenate，意思是一个接一个地连接在一起。在屏幕上显示文件内容的一种方便的方法是给出命令 cat，后跟一个空格和文件名。下面的例子展示了ls和cat之间的
2021-06-22 20:38:14
94
原创 【shell学习|004】- 常用命令之基础命令之ls详解(没有比这个更全的了，建议收藏)
常用命令接上一节 【shell学习|003】- 查找文档Linux 的优势之一是它带有数千个可执行无数功能的实用程序。无论何时使用 Linux，您都将使用实用程序，无论您是从命令行直接按名称使用它们，还是从菜单或图标间接使用它们。以下部分讨论了一些最基本和最重要的实用程序；这些命令个人认为是最最常用且必须掌握的特殊字符shell中有一些特殊字符，这些字符对shell来说有特殊含义，日常工作中尽量避免在文件中使用到这些特殊字符，这些字符的具体特殊点在本系列后续文章中会逐步介绍，现在先记住即可：&
2021-06-22 15:37:32
763
原创 【shell学习|003】- 查找文档
查找文档接上一节【shell学习|002】- 认识命令行终端Linux 发行版通常不附带纸质的参考手册或者光盘。然而，它的在线文档一直是 Linux 的优势之一。从操作系统的早期版本开始，就可以通过 man 和 info 实用程序访问 man（或手册）和 info 页面。本节讨论了一些您可以在 Linux 上查找帮助信息的地方。part1、获取帮助的基本方法1、man命令：查看系统的man手册下图是man man的结果：具体可以参考这篇文章：man手册2、apropos：搜索关键字man
2021-06-17 20:25:10
150
原创 【shell学习|002】- 认识命令行终端
认识命令行终端接上一节【shell学习|001】我们从xhsell登录后的界面就是命令行终端了；和windows有很大不同，需要一段时间熟悉1、命令行的优点灵活性在某些情况下，管理员可能会使用命令行工具，因为不存在等效的图形工具，或者因为图形工具不如文本工具强大或灵活。例如，chmod比它的 GUI 版本更强大和更灵活。资源消耗通常，在服务器系统上，甚至可能不会安装图形界面。这个省略的第一个原因是 GUI 消耗了大量的系统资源；在服务器上，这些资源更好地专用于服务器的主要任务。安全方面此外
2021-06-16 19:06:15
197
原创 【linux学习|002】 - 学习环境搭建
Linux学习系列1-学习环境搭建1、下载镜像（根据自己喜好选择，推荐centos，这里选择centos7.7的版本）：https://mirrors.tuna.tsinghua.edu.cn/centos/7.7.1908/isos/x86_64/CentOS-7-x86_64-Everything-1908.iso2、安装vmware workstation，双击打开（具体方式可以百度搜索，这里使用的是15.5版本）点击创建虚拟机，选择自定义，点击下一步：点击下一步选择稍后安装操作系统
2021-06-12 19:37:36
78
1
原创 【shell学习|001】- 开启shell学习之旅
1、从终端登录安装xhsell，在xshell中输入 ssh username@ip 回车；在提示框中输入密码具体过程可以参考这篇文章：学习环境搭建登录之后我们可以看到一些提示信息：Last failed login: Fri Jun 11 17:15:01 CST 2021 from 10.3.123.90 on ssh:nottyThere was 1 failed login attempt since the last successful login.Last login: Fri
2021-06-11 18:25:35
242
原创 【linux基础篇|001】- Linux简介及计算机的基础知识
Linux 简介Linux 内核最初只是由芬兰人林纳斯·托瓦兹（Linus Torvalds）在赫尔辛基大学上学时出于个人爱好而编写的。Linux 是一套免费使用和自由传播的类 Unix 操作系统，是一个基于 POSIX 和 UNIX 的多用户、多任务、支持多线程和多 CPU 的操作系统。Linux 能运行主要的 UNIX 工具软件、应用程序和网络协议。它支持 32 位和 64 位硬件。Linux 继承了 Unix 以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。Linux内核地址：T
2021-06-11 16:10:03
91
原创 【unix and linux system administration handbook|1.7】- man手册
手册页和其他在线文档即使在 Google 时代，我们仍继续参考手册页作为权威资源，因为它们可以从命令行访问，通常包括程序选项的完整详细信息，并显示有用的示例和相关命令。手册页是对单个命令、驱动程序、文件格式或库例程的简明描述。它们不涉及更一般的主题，例如“如何安装新设备？”或者“为什么这个系统这么慢？”man page的组织形式FreeBSD 和 Linux 将手册页分成几个部分。其他 UNIX 变体有时对部分的定义略有不同。man命令：读取man手册内容man title 格式化特定的手
2021-06-10 16:02:53
153
原创 【unix and linux system administration handbook|1.3】- Linux发行版
unix and linux system administration handbook | 读书笔记Linux发行版Linux 发行版包含 Linux 内核，它是操作系统的核心系统，以及组成您可以在系统上运行的所有命令的包。所有发行版共享相同的内核沿袭，但格式、类型和编号的包差别很大。发行版的重点、支持和人气。仍然有数百个独立的 Linux 发行版，但是我们的感觉是，源自 Debian 和 Red Hat 谱系的发行版将未来几年在生产环境中占主导地位。总的来说，Linux 发行版之间的差异
2021-06-10 15:14:14
76
原创 【unix and linux system administration handbook|1.1】- 运维职责
unix and linux system administration handbook | 读书笔记系统管理员职责（运维职责）1、控制访问（用户管理）系统管理员为新用户创建帐户，删除非活动用户的帐户，并处理中间出现的所有与帐户相关的问题（例如，忘记密码和丢失密钥对）。实际添加和删除帐户的过程通常由配置管理系统或集中式目录服务自动执行。如ldap2、添加硬件（硬件资源升级等）使用物理硬件（而不是云或托管系统）的管理员必须安装它并将其配置为被操作系统识别。硬件支持杂务可能从添加网络接口卡的简单
2021-06-10 14:47:04
147
3
原创 crontab脚本因JAVA_HOME未设置导致执行失败分析过程
问题背景最近在尝试将hadoop中文件信息导入ELK，并分析冷数据；部分效果图如下但是近期发现crontab脚本同步最新的fsimage时正常，但是无法正常转换成csv格式初期以为是生成的文件已存在导致，后续将生成文件按时间戳明明后依然无法生成今天刚好有时间准备分析一下问题分析过程整个cronta脚本如下：FsImage=`ssh 172.20.xx.xx "ls -art /disk1/hadoop/dfs/hadoop-nn1/current/fsimage* |grep -v md5|
2021-06-08 14:48:45
462
原创 上亿文件PB级数据治理
上亿文件PB级数据治理Date: Jun 4, 2021背景介绍平台提供了专门的训练存储给用户进行日常训练使用；随着用户数据量的增加，存储虽然经历了几次扩容依然不够用；分析用户数据，发现有很多数据是训练的中间产物，不过很少有用户及时删除，直到配额满了影响现有任务后才会想着删除数据；根据这种情况，平台定期执行了自动清理数据策略；自19年11月至今已有效删除文件数9亿+；文件量1.7PB+近期整理里下相关内容，现分享出来，与大家共同交流1、规则制定从背景可以看出，任务的重点是找到用户的临时数
2021-06-04 16:22:27
586
1
原创 unbuntu 18.04 无法安装mkcramfs
问题描述早上收到用户反馈，申请在离线源里加上mkcramfs和libxml-dev两个包感觉比较奇怪，询问用户后，用户给出问题截图：问题分析首先第一步拿到用户节点信息和登录方式已经截图中的命令所在路径登录上去之后复现用户问题，发现的确报错；尝试如下方式：1、apt-get install mkcramfs报错，提示没有这个包2、apt-get install libxml2-dev依然报错，感觉比较奇怪，怀疑源有问题3、检查用户机器的源配置发现没有/etc/apt/source.
2021-06-03 10:47:15
1543
原创 rz传输文件提示段错误
用户问题处理1、rz传输文件提示段错误问题现象：用户反馈rz传输文件到集群上时报错，信息如下：问题解决：询问用户上传的目标存储通过quotainfo命令检查发现，该存储上用户组的配额已满导致：...
2021-05-27 10:37:14
347
原创 【学习笔记|算法导论-2.1】插入排序
【算法导论-2.1】插入排序考虑下面的排序问题：输入：n个数的一个序列<a1,a2,⋅⋅⋅,an>。n个数的一个序列<a_1,a_2,\cdot\cdot\cdot ,a_n>。n个数的一个序列<a1,a2,⋅⋅⋅,an>。输出：输入序列的一个排列<a1′,a2′,⋅⋅⋅,an′>,满足a1′≤a2′≤⋅⋅⋅≤an′。输入序列的一个排列<a_1',a_2',\cdot\cdot\cdot,a_n'>,满足a_1'\le a_2' \le
2021-05-24 17:49:47
138
1
原创 python与anaconda版本对应关系
有时候需要查询特定python版本的anaconda版本，可以到这个网站查询：https://docs.anaconda.com/anaconda/packages/oldpkglists/
2021-05-24 15:35:48
407
原创 【深入理解计算机系统-学习笔记】第二章 信息的表示和处理
信息的表示和处理(page58 - page144)本章我们研究在计算机上如何表示数字和其他形式数据的基本属性，以及计算机对这些数据执行操作的属性。这就要求我们深入研究数学语言，编写公示和方程式，以及展示重要属性的推导：给出以数字形式表示的属性，作为原理用例子和非形式化的讨论来解释这个原理对于更复杂的属性，提供推导2.1、信息存储大多数计算机使用8位的快，或者字节，作为最小的可寻址的内存地址，而不是访问内存中单独的位。程序将内存视为一个非常大的字节数组，称为虚拟内存，内存的每个字节都由一
2021-05-21 15:46:16
249
原创 【深入理解计算机系统-学习笔记】第一章 计算机系统漫游
第一章 计算机系统漫游简介：我们通过跟踪hello程序的生命周期来开始对系统的学习—-从它被程序员创建开始，到在系统上运行，输出简单的消息，然后终止我们将沿着这个程序的生命周期，简单得介绍一些逐步出现的关键概念、专业数据和组成部分hello代码：#include <stdio.h>int main(){ printf("hello, workd\n"); return 0;}1.1、信息就是位+上下文hello程序的生命周期从源程序开始源程序：即源文件，程序员通过创
2021-05-14 18:25:24
492
3
TA创建的收藏夹 TA关注的收藏夹
TA关注的人