- 博客(54)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【pyinstaller】python打包工具
最后参照资料：https://github.com/pyinstaller/pyinstaller/issues/8014 把gssapi.raw所有的子模块给配置到hiddenimports中方才运行成功。pyinstaller并不太智能啊，花费了挺久时间。暂时记录该方案，以后说不定还能用到。
2024-08-12 19:59:14
267
原创 【linux】curl命令用法
curl命令写的更清楚一点其实是cURL（client url，客户端URL或者command url命令行url工具），用来请求url的。curl命令其实在平常工作中就已经在使用了，但是一直没有系统看过，就在这记录下，以后要用的话，可以在这儿查阅。如果是发送其他类型的请求，只需要携带对应的参数就好，比如-XPUT、-XDELETE。这里就不一一列举了。-v参数会把请求头、响应头、响应内容都打印出来，方便观察调试，一般搭配-L使用。不使用-L参数的话，遇到重定向的网址，你看不到重定向之后的网址内容。
2024-08-07 21:37:46
976
原创 【hadoop】集群安装
查看集群状态，观察NameNode，DataNode, 2NN是否符合更开始的集群搭建需求。克隆三个虚拟机，分别是：hadoop102, hadoop103, hadoop104.配置文件目录：/opt/module/hadoop-3.1.3/etc/hadoop。重启虚拟机后，检查是否配置正确，确保每一步都是正确的，再执行后面的配置。只需要在hadoop102节点上执行，只有集群第一次启动的时候执行。虚拟机，之后集群中的虚拟机可以直接使用克隆虚拟机的方式创建。如果B要访问A，在B机器上执行以上相同操作。
2024-08-07 06:00:00
665
原创 【kerberos】基础使用
CDH 6.3.2开启kerberos认证。查看keytab文件中的账户信息。Kerberos 命令使用。导出用户keytab文件。使用keytab文件登录。登录到后台之后，输入。
2024-08-06 20:45:00
240
原创 【hadoop】常用命令
获取yarn restful节点和port信息。获取SecondaryNameNode节点。获取NameNode restful接口。获取ResourceManager节点。查询hdfs系统中的namenode。查看datanode的存储目录。上传本地文件到指定目录下。查看hadoop版本。
2024-08-06 20:00:00
335
原创 【缓存】缓存击穿、缓存穿透、缓存雪崩
缓存中没找到请求的数据，数据库中也没有请求的数据，那么把这个请求数据保存在缓存里，但是置为空。如果有攻击者伪造了一个请求，而且请求的数据再缓存中找不到，那么每次请求，都会从数据库中查找。一般缓存的数据都有有效期，当某个数据有效期过了，对该数据的所有请求统统走向了数据库，数据库由于突然大量的请求访问可能就会崩掉了，这就是缓存击穿。1）对请求进行校验，比如请求的数据，缓存中肯定没有，并且数据库中也肯定没有的情况，直接拦截过滤掉。3）如果数据量比较小，可以全部放在缓存中，有请求的数据就返回，没有就返回空。
2024-08-06 14:08:35
376
原创 【hadoop】认识Hadoop
Hadoop是由Apache基金会开发的一个分布式系统基础架构，主要解决海量数据的存储和海量数据的分析计算问题。HDFS架构理解，YARN架构理解，MapReduce理解。
2024-06-23 10:25:21
1032
原创 【OceanBase】v4.2.1 集群备份恢复命令汇总
nfsvers=4.1 ：由于备份依赖 nfs 4 原生的文件锁，建议使用 nfs 4.1 及以上版本。hard: 在 NFS 不可用的情况下，系统会卡住应用的读写请求，以保证数据的一致性。lookupcache=positive: 用于避免并发访问目录或者文件时误报目录或文件不存在的问题，保证数据的一致性。在设置时，建议不要设置得过大，建议值为 600。这个视图只有在有恢复任务的时候才有数据，如果没有恢复任务，该视图内容为空。wsize ：表示写的数据块大小，建议设置为 1048576。
2024-03-23 17:55:46
904
原创 【OceanBase】V3.1.5 物理备份恢复命令汇总
【代码】【OceanBase】V3.1.5 版本备份恢复。日志归档，全量备份，增量备份。
2024-03-23 13:20:04
426
原创 【asyncio】异步编程知识总结
协程（Coroutine），也称为微线程，是一种用户态内的上下文切换技术。其实就是通过一个线程实现代码块相互切换执行。协程的目的是通过一个线程利用其IO等待的收，再去干点别的事情，别闲着！
2022-12-23 11:46:22
465
1
原创 【Git】基础入门
版本控制是一种在开发过程中用于管理我们对文件、目录或工程等内容的修改历史，方便查看更改历史记录，备份以及恢复以前的版本的软件工程技术。主流的版本控制器有：Git、SVN、CVS、VSS、TFS主流的三种版本控制类型：本地版本控制记录文件每次的更新，对每个版本做一个快照，或是记录补丁文件，适合个人用。集中版本控制所有的版本数据都保存在服务器上，协同开发者从服务器上同步更新或上传自己的修改。、CVS、VSS。分布式版本控制。
2022-12-20 12:30:22
192
原创 【Celery】异步组件入门
用来存储Worker执行的任务的结果，Celery支持以不同方式存储任务的结果，包括AMQP、redis等。Celery本身不提供消息服务，但是可以和第三方消息中间件集成，例如RabbitMQ、Redis等，任务执行单元并发地运行在分布式的系统节点中。
2022-12-18 12:28:30
625
2
原创 【python】装饰器
装饰器是python的一个语法糖，本质还是一个函数，它接收一个函数作为参数，并返回一个函数。它可以在不改变原函数功能的基础上，对函数进行增强，添加额外的功能。语法糖（Syntactic sugar），也译为糖衣语法，是由英国计算机科学家彼得·约翰·兰达（Peter J. Landin）发明的一个术语，指计算机语言中添加的某种语法，这种语法对语言的功能并没有影响，但是更方便程序员使用。通常来说使用语法糖能够增加程序的可读性，从而减少程序代码出错的机会。
2022-12-16 12:49:13
174
原创 【cuckoo】Ubuntu安装布谷鸟沙箱docker镜像
布谷鸟沙箱是一款自动化恶意软件分析工具。可以分析许多恶意文件，包括可执行文件、pdf文档、邮件、恶意网站等。
2022-12-16 07:00:00
1427
7
原创 【python】为什么线程比进程快
衣服还在盆里，盆里有水，有衣服，有洗衣液，衣服还处在你刚刚离开搓一半的状态，这一系列的条件就可以理解为上下文，相当于某一刻的状态快照。每个进程都会维护这样一个虚拟内存映射到物理内存的表，切换一次，页表也要跟着切换，切换后cache里的地址映射相当于要重新建立一次，那么虚拟地址转换为物理地址就会变慢。而线程切换和进程切换最主要的一个区别就是：每个进程都有自己的虚拟地址空间，进程内的线程共享进程的虚拟地址空间，不需要进行虚拟内存的切换，这就在一定程度上减少了时间消耗。首先需要知道一个概念，
2022-12-16 05:00:00
233
原创 【linux】signal信号
说到信号首先想到的是信号交通灯，“红灯停，绿灯行，黄灯闪闪慢慢行”。这就是信号灯在交通中起的作用。在十字路口，常见的一个现象：当为红灯时，汽车停止形式，等待行人过马路。从这个现象中，可以类比系统中的进程中断：红灯代表一种信号汽车行驶代表进程行人过马路代表信号触发的事件红灯信号使汽车停止行驶，表示信号可以中断进程；汽车停止行使后，行人可以过马路，表示信号中断进程后可以触发另一个事件；红灯变绿灯，行人过马路结束，汽车可以继续行驶。表示信号触发的事件结束之后，进程可以继续执行。
2022-12-15 23:15:33
673
原创 【docsify】知识库搭建
Docsify即时生成您的文档网站，它不会生成静态 html 文件。相反，它会智能地加载和解析 Markdown 文件，并将它们显示为网页。
2022-12-14 21:08:36
650
原创 【python】迭代器和生成器
一个实现了__iter__方法的对象是可迭代的，一个实现了__next__方法的对象则是迭代器。生成器是一种用普通函数语法定义的迭代器。任何包含yield语句的函数称为生成器，它不像return那样返回值，而是每次产生多个值。每次产生一个值，函数就会被冻结：即函数停在那点等待被重新唤醒。函数被重新唤醒后就从停止的那点开始执行。
2022-12-06 11:28:34
167
原创 【python】魔法方法
在python中，有的名称会在前面和后面都加上两个下划线，由这些名字组成的集合所包含的方法称为魔法方法，这些方法会在特殊的情况下被Python调用。
2022-12-06 10:31:05
220
原创 【linux】进程间通信-管道
进程间通信（InterProcess Communication， IPC）方式包括：、FIFO、消息队列、信号量以及共享存储。本篇学习笔记只记录管道通信。管道是UNIX系统IPC的最古老形式，所有UNIX系统都提供此种通信机制。管道有两种局限性：每当在管道中键入一个命令序列，让shell执行，shell都会为每一条命令单独创建一个进程，然后用管道将前一条命令进程的标准输出与后一条命令的标准输入相连接。
2022-12-05 22:29:29
305
原创 【pycharm】配置远程服务器
不知道Pycharm可以配置远程服务器之前，怎么调试自己的代码呢？本地修改代码，拖到linux平台上，执行代码查看结果。桌面上IDE、Mobaxterm，放大、缩小很麻烦。直到了解到Pycharm可以配置远程服务器的python解释器，并且可以自动上传文件到服务器上，才了解到开发过程也可以从简。开启ssh服务是因为后面Pycharm中配置服务端的解释器需要通过SSH的连接方式连接服务器。
2022-12-03 11:43:25
3636
原创 【RabbitMQ】消息队列
MQ： Message Queue，是一种应用程序对应用程序的通信方法，可以理解为进程间通信的一种方法，它不限编程语言，各个语言都可以使用RabbitMQ。MQ是一种生产-消费者模型，一端不断往消息队列中写消息，另一端则可以读取队列中的消息进行处理。消息队列中间件是分布式系统中重要的组件，主要解决应用解耦、异步消息、流量消锋等问题，实现高性能、高可用、可伸缩和最终一致性架构。
2022-12-01 20:45:01
471
原创 【python】反射和动态加载
反射： 可以把```字符串```映射到```实例的变量或者实例的方法```然后可以去执行调用、修改等操作，这是对对象自身的一些处理。动态加载：常用的方法就是importlib.import_module，程序中 用到包的时候才会把包导入进来，这是对外部包的处理。
2022-12-01 11:37:47
942
原创 【python】apscheduler 时间定时
本文对python第三方库apscheduler的基础知识和用法做了汇总，apscheduler是python的时间调度模块，可以对任务进行定时、周期性调用。
2022-11-29 00:05:33
2905
原创 【网络安全】什么是蜜罐和蜜网
文章目录前言一、蜜罐的作用二、蜜罐的分类三、蜜罐的重定向机制四、蜜罐的欺骗性五、蜜信六、其他总结前言原始的攻击，总是攻击者处于主动地位，防御者处于被动地位，蜜罐和蜜网可以扭转对抗不对称局面。蜜罐就像一个专门为攻击者设计的陷阱，只要攻击者进入陷阱，攻击者所作的一切操作都会被记录下来，这些攻击行为记录对攻击者来说会有一定的威慑作用。一、蜜罐的作用从前言里大概可以了解到蜜罐是干什么的，蜜罐的作用可以总结为如下几点：1、增加攻击者攻击成本，攻击的是蜜罐模拟出来的假目标。2、使用蜜罐可以捕获攻击者是谁
2022-11-21 00:15:05
3379
机器学习python虚拟环境：machine_learn_venv.tar
2022-04-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人