KHOST的博客

今天再推荐一款小众轻量级的爬虫库：MechanicalSoupMechanicalSoup，也是一款爬虫神器！它使用纯 Python 开发，底层基于 Beautiful Soup 和 Requests，实现网页自动化及数据爬取项目地址：https://github.com/MechanicalSoup/MechanicalSoup2. 安装及常见用法首先安装依赖库#安装依赖库pip3installMechanicalSoup常见操作如下：...

①骰子模拟器目的：创建一个程序来模拟掷骰子。提示：当用户询问时，使用random模块生成一个1到6之间的数字。②石头剪刀布游戏目标：创建一个命令行游戏，游戏者可以在石头、剪刀和布之间进行选择，与计算机PK。如果游戏者赢了，得分就会添加，直到结束游戏时，最终的分数会展示给游戏者。提示：接收游戏者的选择，并且与计算机的选择进行比较。计算机的选择是从选择列表中随机选取的。如果游戏者获胜，则增加1分。importrandom...

创建模块创建模块就是创建一个Python文件。要注意的是设置的模块名不要与Python自带的模块名重复；还有模块文件的扩展名必须是.py例如创建一个test_a模块定义一个A类包含一个a_say_hello的方法#创建A类classA():#在A类中定义一个包含a_say_hello()方法defa_say_hello(self):print('我是a,hello')再创建一个test_b模块通过import引入模...

有时我们需要把数据永久存储起来，随时使用随时读取。例如，我们通过程序建立的列表、字典等数据，当程序结束时，需要把这些数据存储到文件中，当程序再次启动时，可以把这些数据读入到程序中，避免这些数据的重新录入。在Python语言中，负责文件操作的称为文件对象，文件对象不仅可以访问存储在磁盘中的文件，也可以访问网络文件。文件对象通过open函数得到，获取文件对象后，就可以使用文件对象提供的方法来读写文件。但open函数在处理某些问题是并不是很理想，有没有其他比open函数更加适合读取某些特定文件呢？下面我们

1. 前言众所周知，Python 最流行的爬虫框架是 Scrapy，它主要用于爬取网站结构性数据今天推荐一款更加简单、轻量级，且功能强大的爬虫框架：feapder项目地址：https://github.com/Boris-code/feapder2. 介绍及安装和 Scrapy 类似，feapder 支持轻量级爬虫、分布式爬虫、批次爬虫、爬虫报警机制等功能内置的 3 种爬虫如下： AirSpider 轻量级爬虫，适合简单场景、数据量少的爬虫 Spider.

认识pip众所周知，pip可以对python的第三方库进行安装、更新、卸载等操作，十分方便。pip的全称：package installer for python，也就是Python包管理工具。可能有些人用了很久pip，但还不清楚包管理工具是个啥。我们先从Python这门语言说起，Python之所以受欢迎不光是因为它简单易学，更重要的是它有成千上万的宝藏库。这些库相当于是已经集成好的工具，只要安装就能在Python里使用。它们可以处理各式各样的问题，无需你再造轮子，而且随着社区的不断更新

前言众所周知，我们每天上网都会有很多数据包需要发送，然后处理在接受在发送，这样一个循环往复的过程这里就显示了很多数据包的发送接收数据，那什么是包呢？下面一起看看包（ packet ）是网络通信传输中的数据单位，一般称之为数据包，其主要由源地址，目标地址，净载数据组成它包括包头和包体，包头是固定长度，包体长度不变简单了解下包的定义，下面我们来看看发包利器 scapy 的用法吧一、常用命令1、ls()：显示所有支持的数据包对象，可带参数也可不带，参数可以是任意具体的包.

批处理，顾名思义，批量处理，它可以将复杂的事情变得简单，最早出现在dos操作系统中，也就是我们经常说的cmd黑窗口，这在早期没有gui界面的时候用的是最多的，而且命令比较丰富，虽然现在有很多功能都被封装到了软件中，但是你会发现在dos中执行操作会更快，哪怕会比较麻烦，如果你无法忍受慢节奏。下面就基本命令咱们先看看吧，首先打开cmd窗口：你可以通过 快捷键 徽标键+R，然后输入cmd，也可以点击window系统右下角，然后点击运行，输入cmd即可。下面我们来看看吧：打开后可以看到这幅画面，

RoboBrowser，Your friendly neighborhood web scraper！由纯 Python 编写，运行无需独立的浏览器，它不仅可以做爬虫，还可以实现 Web 端的自动化项目地址：https://github.com/jmcarp/robobrowser2. 安装及用法在实战之前，我们先安装依赖库及解析器PS：官方推荐的解析器是 「lxml」#安装依赖pip3installrobobrowser#lxml解析器（官方推荐）pip3ins...

SSO简介单点登录(Single Sign On)功能是一个非常常用的功能，尤其是我们在多个系统之间需要登录同步的时候，例如我们在登录QQ空间后，再去QQ的其他网站，都是默认登录的状态，这就是单点登录。单点登录有很多种实现方法，这里介绍一个通过共享session的实现方法。实现共享session要做的就是要让多个不同应用共用同一个session，但是session默认的是每个应用一个独立的session和cookie的，所以这里要对session的存储进行配置。除了默认的ses...

什么是模式匹配呢？在计算机科学中，往往是检查给定的序列或字符串中是否有符合某种模式的片段，比如说：“啊，你的AK-47打得真准”，如果我们将 “啊，你的_打得真准 ” 作为一种模式，则会将 AK-47 匹配出来实现模式匹配往往都是用正则表达式，但是如果你想识别特别复杂的模式，编写正则表达式就会变得非常非常麻烦而 Pampy 这个项目能解决你不少的烦恼项目地址：https://github.com/santinic/pampy下面是一个使用例子:1. 安装赶紧让我们来试..

首先安装依赖库#安装依赖库pip3installMechanicalSoup常见操作如下：2-1实例化浏览器对象使用mechanicalsoup 内置的StatefulBrowser() 方法可以实例化一个浏览器对象importmechanicalsoup#实例化浏览器对象browser=mechanicalsoup.StatefulBrowser(user_agent='MechanicalSoup')PS：实例化的同时，参数可以执行 User...

来源：Python 技术「ID: pythonall」写了这么多年的 Python ，我一直都是使用 Python 自带的 logging 模块来记录日志，每次需要写一些配置将日志输出到不同的位置，设置不同日志输出格式，或者将日志进行分文件和压缩等。这个日志模块没什么问题，直到我无意中发现了一个神器，我才发觉原来记日志可以这么简单的！这个神器就是 loguru 。安装这个库的安装方式很简单，直接使用 pip 就可以，我使用 Python 3 版本，安装命令如下：pip3install.

学Python，想必大家都是从爬虫开始的吧。毕竟网上类似的资源很丰富，开源项目也非常多。Python学习网络爬虫主要分3个大的版块：抓取，分析，存储当我们在浏览器中输入一个url后回车，后台会发生什么？简单来说这段过程发生了以下四个步骤： 查找域名对应的IP地址。 向IP对应的服务器发送请求。 服务器响应请求，发回网页内容。 浏览器解析网页内容。 ？那么学习爬虫需要掌握哪些库呢通用： urllib -网络库(stdlib)。 ..

导读：函数是Python中最重要、最基础的代码组织和代码复用方式。根据经验，如果你需要多次重复相同或类似的代码，就非常值得写一个可复用的函数。通过给一组Python语句一个函数名，形成的函数可以帮助你的代码更加可读。函数声明时使用def关键字，返回时使用return关键字：defmy_function(x,y,z=1.5):ifz>1:returnz*(x+y)else:returnz/(x+y)...

作者：青石路www.cnblogs.com/youzhibing/p/14337244.html写作背景做 Java 开发的，一般都绕不开 Spring，那么面试中肯定会被问到 Spring 的相关内容，而循环依赖又是 Spring 中的高频面试题这不前段时间，我的一朋友去面试，就被问到了循环依赖，结果他还在上面还小磕了一下，他们聊天过程如下面试官：说下什么是循环依赖朋友：两个或则两个以上的对象互相依赖对方，最终形成闭环。例如 A 对象依赖 B 对象，B 对象也依赖 A 对象...

一、模块1. 利用 pip 安装 pygame 模块Windows系统下的安装参考如下文章：https://blog.csdn.net/qq_38721302/article/details/83243632注：应在PyCharm的系统解释器的Scripts目录安装了pygame再新建工程Linux系统下的安装：安装pygamesudopip3installpygame验证安装（aliens是一个内置小游戏） 方法 ...

本文包括： 函数是一等公民 内部函数定义 闭包和nonlocal关键词 应用场景 - 封装 应用场景 - 函数生成器 函应用场景 - 装饰器 闭包实现原理 函数是一等公民Python 是面向对象的编程语言，对象是 Python 的一等公民，我们常用的字符串str，整数int，和其他变量都是对象函数也是对象，所以也是一等公民，这就意味着它和变量一样 可以作为参数被传递 可以在函数内部定义 可以作为函数...

之前做了个爬虫案例平台，https://scrape.center/，具体文章在原创丨发布一个爬虫案例平台，帮助爬虫初学者进行练手。平台内我设计了非常多的网站，有服务端渲染、客户端渲染等，其中服务端渲染的页面大家可能爬取的频率比较高，时不时就会遇到被爬挂的情况。比如这个网站：https://ssr1.scrape.center/，当访问频率高的时候，甚至我后端开了 20 个 Pod 也承受不来，大家并发量有点猛啊。这个后端是用 Django 写的，而且这个网站的数据不怎么更新，索性再加个 Ca.

今天我要给大家分享的是如何爬取豆瓣上深圳近期即将上映的电影影讯，并分别用普通的单线程、多线程和协程来爬取，从而对比单线程、多线程和协程在网络爬虫中的性能。具体要爬的网址是：https://movie.douban.com/cinema/later/shenzhen/除了要爬入口页以外还需爬取每个电影的详情页，具体要爬取的结构信息如下：爬取测试下面我演示使用xpath解析数据。入口页数据读取：importrequestsfromlxmlimportetreeimp...

相信大部分人学习 Python，肯定会用 print() 这个内置函数，来调试代码的那么在一个大型的项目中，如果你也是使用 print 来调试你的 Python 代码，你就会发现你的终端有多个输出那么你便不得不去分辨，每一行的输出是哪些代码的运行结果举个例子，运行下面这个程序num1=30num2=40print(num1)print(num2)输出结果3040这些输出中哪一个是 num1 ？哪一个又...

本文转自掘金 https://juejin.cn/post/6844903919588491278后端们最怕的事情之一就是服务器的负载突然飙升，这可能又意味着一个个夺目Call马上要打过来了。碰到这种情况怎么办，大家第一反应一定是登陆到服务器上，先敲一个top命令看看Load Average吧。今天这篇文章和大家说说怎么看这个“Load Average”。Load Average很多人说Load Average这一个指标就能说明系统负载高了，这句话是对的。那...

如果你之前没用过进度条，八成是觉得它会增加不必要的复杂性或者很难维护，其实不然。要加一个进度条其实只需要几行代码。在这几行代码中，我们可以看看如何在命令行脚本以及 PySimpleGUI UI 中添加进度条。下文将介绍 4 个常用的 Python 进度条库：Progress第一个要介绍的 Python 库是 Progress。你只需要定义迭代的次数、进度条类型并在每次迭代时告知进度条。importtimefromprogress.barimport...

这篇文章主要来讲解下Python自带的爬虫库urllib常见用法，主要围绕urllib定义、urllib的常用模块和urllib+lxml爬虫案例三个部分进行展开。一、什么是urllib它是一个http请求的Python自带的标准库，无需安装，直接可以用。并且提供了如下功能：网页请求、响应获取、代理和cookie设置、异常处理、URL解析，可以说是一个比较强大的模块。二、urllib模块可分为以下模块： urllib.request...

/前言/psutil是一个强大的可以获取操作系统运行进程和CPU使用率的模块，主要可以用于系统监控分析，它也是可以跨平台使用的模块。这篇文章主要是介绍该模块的安装和基本用法，下面我们就来看看它到底有哪些使用功能吧。/模块介绍/1、安装。使用pip命令进行安装即可。pip install psutil2、基本用法老样子，先使用dir看它有哪些方法，为了不看那些平时很少用到的方法，小编决定这样做：3、可以看出，命令不是很多，这是因为过滤了一些带下划线的命令，...

学Python，想必大家都是从爬虫开始的吧。毕竟网上类似的资源很丰富，开源项目也非常多。Python学习网络爬虫主要分3个大的版块：抓取，分析，存储当我们在浏览器中输入一个url后回车，后台会发生什么？简单来说这段过程发生了以下四个步骤： 查找域名对应的IP地址。 向IP对应的服务器发送请求。 服务器响应请求，发回网页内容。 浏览器解析网页内容。 ？那么学习爬虫需要掌握哪些库呢通用： urllib -网络库(stdlib)。...

抓包前准备：模拟器:雷电模拟器4.0 Android7.1内核版本Proxifier、代理抓包工具(burpsuite、Fiddler)均可通常情况下需要在模拟器中修改wifi代理其实我觉得这种是比较麻烦的、何必不只要我运行了burpsuite和Proxifier之后就可以抓模拟器包，不需要修改其内部配置呢。并且某些app也会检测代理情况，如果修改了或开启了代理app就无法正常运行，我们通过在模拟器外部进行抓包来绕过app检测。开始配置：首先运行burpsuite监听默认80..

作者：运维小弟www.toutiao.com/i6843323300764975628/一、MySQL自带的压力测试工具 Mysqlslapmysqlslap是mysql自带的基准测试工具,该工具查询数据,语法简单,灵活容易使用.该工具可以模拟多个客户端同时并发的向服务器发出查询更新,给出了性能测试数据而且提供了多种引擎的性能比较。mysqlslap为mysql性能优化前后提供了直观的验证依据,系统运维和DBA人员应该掌握一些常见的压力测试工具,才能准确的掌握线上数据库支撑的用户流量上限及其

1. 前言前些日子写过几篇关于线程和进程的文章，概要介绍了Python内置的线程模块（threading）和进程模块（multiprocessing）的使用方法，侧重点是线程间同步和进程间同步。随后，陆续收到了不少读者的私信，咨询进程、线程和协程的使用方法，进程、线程和协程分别适用于何种应用场景，以及混合使用进程、线程和协程的技巧。归纳起来，核心的问题大致有以下几个： 使用线程是为了并行还是加速？ 为什么我使用多线程之后，处理速度并没有预期的快，甚至更慢了？ 我应该选择多进程处

来自：CSDN，作者：南枝向暖北枝寒MA 链接：https://blog.csdn.net/mall_lucy/article/details/108655317【导读】：开发项目的时，为了测试常需要造假数据，经常要尽量的模拟真实环境，通常要费大量手工而且造出来的数据，而且通常手工造出来的看起来也很别扭，费时又费事，有没有更好的办法？有，这里给大家介绍一个“专业造数“库Faker，满足你对模拟数据的所有需求。--- 以下是正文 ---项目开发初期，为了测试方便，我们总要造不...

什么是魔术方法？在 Python 中，所有以双下划线__包起来的方法，统称为Magic Method（魔术方法）它是一种的特殊方法，普通方法需要调用，而魔术方法不需要调用就可以自动执行魔术方法在类或对象的某些事件出发后会自动执行，让类具有神奇的“魔力”，如果希望根据自己的程序定制自己特殊功能的类，那么就需要对这些方法进行重写Python 中常用的运算符、for 循环、以及类操作等都是运行在魔术方法之上的魔术方法__init__、__new__、__del__的应用classP...

在python开发中，经常需要使用到各种各样的库。pip又是我们常用的安装工具。但是国外的源下载速度实在太慢，经常导致超时。有很多朋友刚刚学Python的时候，会来问为什么pip下载东西这么慢啊？pycharm里面下载库也是非常的慢。这其实是个常识性的问题，我们下载的慢是因为Python使用pip方法安装第三方包时，需要从https://pypi.org/资源库中下载。这个网站是国外的服务器，访问自然就很慢，但是国内有很多的镜像站，所谓镜像站就是内容一样，只不过服务器在国内，访问速度自然而然就很..

小技巧1：如何使用map对某些列做特征工程？先生成数据：d={"gender":["male","female","male","female"],"color":["red","green","blue","green"],"age":[25,30,15,32]}df=pd.DataFrame(d)df在gender列上，使用 map 方法，快速完成如下映射：d={"male":0,"female":1}df["gender2"...

来源:南枝向暖北枝寒MAhttps://blog.csdn.net/mall_lucy/article/details/104547365【导语】：python进行文件操作，在日常编程中是很常用的。为了方便大家，这里对各种文件操作的知识进行汇总。一文在手，无须它求！来一起学习吧。--- 以下是正文 ---本文分七个模块为大家详细介绍python中文件操纵相关知识，闲话少说，让我们开始！一、文件的打开和关闭 open()函数 f...

孤独是什么，洗了个头，吹了个好看的发型，换了双干净的鞋子，穿了件帅气的衣服，去超市买了一包烟和一瓶水然后就回家了。。。---- 网易云热评一、支持所有的数据库1、apostrophemask.py作用：用utf8代替引号("1 AND '1'='1")替换后'1 AND %EF%BC%871%EF%BC%87=%EF%BC%871'2、base64encode.py作用：用base64编码替换("1' AND SLEEP(5)#")替换后'MScgQU5E...

我们知道，在 Python 里面可以使用time.sleep来让代码暂停一段时间，例如：importtimeprint('...部分代码...')time.sleep(5)print('...剩下的代码...')程序首先打印出...部分代码...，然后等待5秒钟，再打印出...剩下的代码...。现在大家想一想，有没有什么办法，在不使用time.sleep的情况下，让程序暂停5秒？你可能会说，用requests访问一个延迟5秒的网址、或者用递归版算法计算斐波那契数列第36位……这.

1024欢迎你欢迎使用Markdown编辑器欢迎使用Markdown编辑器这是一个欢迎你的地方

前言去年年底看到@madcoding老哥博客的“waf的识别与绕过”一文中搜集了不少WAF拦截页面，正好我平时也有搜集WAF拦截页面的习惯，所以结合他的一起整理成了这么一篇文章，便于自己日后遇到WAF时好查询，并进行针对性的绕过测试！！！现如今WAF种类繁多，笔者搜集的可能也并不是那么齐全和准确，还望得到各位老哥的补充和修正！！！(1) D盾(2) 云锁(3) UPUPW安全防护(4) 宝塔网站防火墙(5) 网防G01(...

爬虫是 Python 的一个重要的应用，使用 Python 爬虫我们可以轻松的从互联网中抓取我们想要的数据本文将基于爬取 B 站视频热搜榜单数据并存储为例，详细介绍 Python 爬虫的基本流程。如果你还在入门爬虫阶段或者不清楚爬虫的具体工作流程，那么应该仔细阅读本文！第一步：尝试请求首先进入 b 站首页，点击排行榜并复制链接https://www.bilibili.com/ranking?spm_id_from=333.851.b_7072696d6172795061676554..

来源：j_hao104 链接：https://my.oschina.net/jhao104/blog/647308?fromerr=KzH2VGaK用Python也差不多一年多了，Python应用最多的场景还是Web快速开发、爬虫、自动化运维：写过简单网站、写过自动发帖脚本、写过收发邮件脚本、写过简单验证码识别脚本。爬虫在开发过程中也有很多复用的过程，这里总结一下，以后也能省些事情。1、基本抓取网页get方法import urllib2url = "http:...

说实话，没得几年的功夫，要破解一款大型的软件，真的很难。也没得什么武功秘籍帮你快速打通任督二脉，如果你真一两周就能搞定，那只能说明你是破解奇才~破解思路其实都一样，就是分析程序，找到破解点，写相应的破解补丁。其实最难的点便是分析程序，因为你需要去分析字节码（跟汇编类似），了解程序逻辑。可能有的同学会说，我直接用反编译工具，直接就能看到源码，你有这种想法，那也正好证明你根本没有搞过jar包的逆向分析，目前那种牛逼的软件，基本上都会混淆，加各种迷惑代码，基本上都是搞得面目全非，见下图~说实话，.

一、网站防护分类1.源码防护：使用过滤函数对恶意攻击进行过滤，绕过思路：①大小写替换②变换提交方式：如get请求变post/cookie请求绕过③编码绕过：url编码、基于语句重叠、注释符等2.软件WAF：通过访问速度、指纹识别等特征进行拦截；常见软件WAF如安全狗、D盾、云锁、云盾等，软件WAF侧重拦截web漏洞。通过访问阈值的大小判断为CC攻击，进行IP封锁；3.硬件WAF：主要防御流量和部分web攻击。常见硬件WAF如天融信、深信服等厂商的防火墙。硬件WAF基于T..

编译&图片汉化：欧剃 原文链接：https://medium.freecodecamp.org/whats-in-a-python-s-name-506262fe61e8大家应该已经在很多 Python 脚本里见到过 __name__ 变量了吧？它经常是以类似这样的方式出现在我们的程序里：if __name__ == '__main__': main()今天，我就带大家详细扒一扒这个内置变量的用法，示范一下在你写的 Python 模组...

前言在我们表示复杂度的时候，通常使用大O来表示。但是，在其他书籍中，你可能还见过Θ、Ω、o、ω等符号。那么，这些符号又是什么意思呢？本节，我们就来解决这个问题。读音我们先来纠正一波读音： O，/əʊ/，大Oh o，/əʊ/，小oh Θ，/ˈθiːtə/，theta Ω，/oʊˈmeɡə/，大Omega ω，/oʊˈmeɡə/，小omega 是不是跟老师教得不太一样^^数学解释ΘΘ定义了一种精确的渐近行为（exact asy

1、一些东西你必须要知道的apktool 将APK转为smail代码，以供审计，其实就是反编译。jeb安卓反编译工具，用于逆向工程或审计APK文件，可以提高效率减少许多工程师的分析时间，能将Dalvik字节码反编译为Java源代码adb 用来操作（调试）android设备（比如android手机）的一套指令集，例如adb shell 可以直接进入手机的命令行界面drozer 移动端渗透测试框架，模块化的测试APK文件的系统薄弱点Android Studio 是谷歌推出的一...

文章来源：Bypass为避免入侵行为被发现，攻击者总是会通过各种方式来隐藏自己，比如：隐藏自己的真实IP、清除系统日志、删除上传的工具、隐藏后门文件、擦除入侵过程中所产生的痕迹等。01、Windows日志清除windows 日志路径： 系统日志：%SystemRoot%\System32\Winevt\Logs\System.evtx安全日志：%SystemRoot%\System32\Winevt\Logs\Security.evtx应用程序日志：...

文章来源：Bypass收集样本，那可是一件很有趣的精细活。从样本里，你可能会发现很多技巧，并进入另一个视角来领略攻击者的手法。当在安全社区里看到一些比较高级的Webshell样本，就如同发现宝藏一般欣喜，我会把它保存起来，慢慢地收集了大量的Webshell样本。什么情况下需要海量的Webshell样本呢？比如，机器学习训练、测试Webshell扫描检测率等。最近，我就在做产品Webshell扫描检测率方面的测试工作，以前积累下来的Webshell武器库给我的工作带来了极大的便利，通过去分类归整，

Idea是Java开发利器，SpringBoot是Java生态中最流行的微服务框架，docker是时下最火的容器技术，那么它们结合在一起会产生什么化学反应呢？一、开发前准备1. Docker的安装可以参考https://docs.docker.com/install/2. 配置docker远程连接端口 vi /usr/lib/systemd/system/docker.service找到 ExecStart，在最后面添加 -H tcp://0.0.0.0:237...

作者：小小卡尔来源：blog.csdn.net/weixin_44185736/article/details/106574637一、Maven依赖添加<!--rabbitmq相关依赖--><dependency><groupId>com.rabbitmq</groupId><artifactId>amqp-client</artifactId><version&g...

文章来源：Bypass在攻击结束后，如何不留痕迹的清除日志和操作记录，以掩盖入侵踪迹，这其实是一个细致的技术活。你所做的每一个操作，都要被抹掉；你所上传的工具，都应该被安全地删掉。01、清除history历史命令记录第一种方式：（1）编辑history记录文件，删除部分不想被保存的历史命令。vim ~/.bash_history（2）清除当前用户的history命令记录history -c第二种方式：（1）利用vim特性删除历史命令...

内置函数就是Python给你提供的, 拿来直接用的函数，比如print，input等。截止到python版本3.6.2 ，一共提供了68个内置函数，具体如下????abs() dict() help() min() setattr()all() dir() hex() next() slice()any() divmod() id() ...

0x01 什么是防火墙防火墙是一种安全系统，可控制网络，服务器或应用程序之间的通信。同时有软件和硬件防火墙。WAF常见类型网络层防火墙Web应用程序防火墙网络层防火墙网络层防火墙在TCP/IP协议栈的较低级别运行，除非数据包与已建立的规则集匹配，否则不允许数据包通过防火墙是白名单或黑名单。防火墙管理员可以定义规则；或可以应用默认规则。这种类型的防火墙通常在数据包未通过规则集时将其丢弃。很多时候，当你的数据包完全被丢弃并显示服务器没有答复时，注入应用程序时，可以假定这是一个网络防火墙。

来源：https://urlify.cn/IFzQRb GitHub 镜像访问 GitHub文件加速 Github 加速下载 加速你的 Github 谷歌浏览器 GitHub 加速插件(推荐) GitHub raw 加速 GitHub + Jsdelivr 通过 Gitee 中转 fork 仓库下载 通过修改 HOSTS 文件进行加速 为什么 github 下载速度这么慢？ 如何提高 github 的下载速.

1. 正则表达式语法1.1 字符与字符类1 特殊字符：.^$?+*{}|以上特殊字符要想使用字面值，必须使用进行转义2 字符类1. 包含在[]中的一个或者多个字符被称为字符类，字符类在匹配时如果没有指定量词则只会匹配其中的一个。2. 字符类内可以指定范围，比如[a-zA-Z0-9]表示a到z，A到Z，0到9之间的任何一个字符3. 左方括号后跟随一个，表示否定一个字符类，比如[0-9]表示可以匹配一个任意非数字的字符。4. 字符类内部，除了之外，其他特殊字符不再具备特殊意义，都

一：简介方法引用分为三种，方法引用通过一对双冒号:: 来表示，方法引用是一种函数式接口的另一种书写方式 静态方法引用，通过类名::静态方法名， 如 Integer::parseInt 实例方法引用，通过实例对象::实例方法，如 str::substring 构造方法引用，通过类名::new， 如 User::new 二：方法引用 public final class Integer { public static...

代码一定得写的优雅一点！你还在使用try-catch-finally关闭资源吗，如果是，那么就有点out了。皮皮甜手把手教你使用JDK7引用的try-with-resource。JDK7之前资源的关闭姿势：/** * jdk7以前关闭流的方式 * * @author hetiantian * */public class CloseResourceBefore7 { private static final String FileName = "file.txt";

介绍一款跨平台小巧的端口爆破工具，支持爆破FTP/SSH/SMB/MSSQL/MYSQL/POSTGRESQL/MONGOD使用说明ip.txt中放入需要爆破的ip+端口，比如 10.10.10.10:3306。如果不是标准端口，比如3307是MYSQL。写成 10.10.10.10:3306|MYSQL。其他 FTP/SSH/SMB/MSSQL/MYSQL/POSTGRESQL/MONGOD同理跨平台 Windows/MAC/Linux已经打包好了，分别对应(PortB...

第一章分类信息收集是从公开可用资源获取所有相关信息的一种方式，是与目标网络和设备交互过程的一部分，涉及开源情报（Open Sourcew Intelligence，OSINT)。在进行渗透测试时信息收集是整个流程的第一步，在实际测试目标网络前进行的，收集的结果会给出需要额外收集的方向或者直接指出接下来在漏洞利用截断可利用的漏洞。信息收集可以分为两种类型：被动侦察（passive reconnaissance)和主动侦察(reconnaissance)。被动侦察一般是指分析公开的信息，这些信息..

作者：JonesYang链接：https://juejin.im/post/6850037269244575757来源：知识追寻者前言计算机网络是一门基础课程，但是老师所讲的东西无非起到一个抛砖引玉的作用。然而对于需要自学的人来说，无疑是更难的。前路漫漫～～计算机网络本来就是比较枯燥的，文章内容较多，建议读者耐心看完这篇文章，希望大家看完后都能有所收获。先把这篇文章的大致结构放上来。img预备知识谢希仁的那本《计算机网络》是很多大学选择的计网教材，在第一章是一个概论，大致

链接：juejin.im/post/6854573211426750472大家都知道okhttp是一款由square公司开源的java版本http客户端工具。实际上，square公司还开源了基于okhttp进一步封装的retrofit工具，用来支持通过接口的方式发起http请求。如果你的项目中还在直接使用RestTemplate或者okhttp，或者基于它们封装的HttpUtils，那么你可以尝试使用Retrofit。retrofit-spring-boot-starter实现了Retrofit与s

作者：nnngucnblogs.com/nnngu/p/9347635.html1、前言最近有同学问我有没有做过在线咨询功能。同时，公司也刚好让我接手一个 IM 项目。所以今天抽时间记录一下最近学习的内容。本文主要剖析了 WebSocket 的原理，以及附上一个完整的聊天室实战 Demo （包含前端和后端，代码下载链接在文末）。2、WebSocket 与 HTTPWebSocket 协议在2008年诞生，2011年成为国际标准。现在所有浏览器都已经支持了。WebSocket 的最大特

作者：huanzi-qchcnblogs.com/huanzi-qch/p/11534203.html前言这套Base Admin是一套简单通用的后台管理系统，主要功能有：权限管理、菜单管理、用户管理，系统设置、实时日志，实时监控，API加密，以及登录用户修改密码、配置个性菜单等技术栈前端：layuijava后端：SpringBoot + Thymeleaf + WebSocket + Spring Security + SpringData-Jpa + MySql工程结构说明

介绍跨站点脚本（XSS）是当今Web应用程序中最普遍的漏洞之一。在没有源代码的情况下进行黑匣渗透时，我们通常会通过将有效负载插入到各处输入框中并等待弹框出现来证明漏洞存在当然还有盲插。如果我们能拿到源代码，则查找XSS漏洞可以更快，更轻松。XSS基础在搜索XSS漏洞时，该漏洞在所有编程语言中其实都差不多。如果某个应用程序将用户提供的输入放在浏览器中而不验证输入或清除该输入，则它们很可能会受到XSS攻击。<code>function(username) welcome_

随着 HTTPS 建站的成本下降，现在大部分的网站都已经开始用上 HTTPS 协议。大家都知道 HTTPS 比 HTTP 安全，也听说过与 HTTPS 协议相关的概念有 SSL 、非对称加密、 CA证书等，但对于以下灵魂三拷问可能就答不上了： 为什么用了 HTTPS 就是安全的？ HTTPS 的底层原理如何实现？ 用了 HTTPS 就一定安全吗？ 本文将层层深入，从原理上把 HTTPS 的安全性讲透。HTTPS 的实现原理大家可能都听说过 HTTPS 协议之所以是安全的

AIDE(Advanced Intrusion Detection Environment,高级入侵检测环境)是个入侵检测工具，主要用途是检查文档的完整性。AIDE能够构造一个指定文档的数据库，他使用aide.conf作为其配置文档。AIDE数据库能够保存文档的各种属性，包括：权限(permission)、索引节点序号(inode number)、所属用户(user)、所属用户组(group)、文档大小、最后修改时间(mtime)、创建时间(ctime)、最后访问时间(atime)、增加的大小连同连接数。

今天给大家介绍一款Burpsuite插件，burpFakeIP一、下载地址https://github.com/TheKingOfDuck/burpFakeIP二、安装插件1、解压到本地2、打开burpsuite，选择Extender，Add3、选择下载好python插件，选择下一步4、安装成功三、使用方法1、伪造指定ip，右击抓到的数据包，选择fakeip，inputIP，输入想要用的ip地址，点击确定，自动添加2、伪造本地...

实现Serializable接口的目的是为类可持久化，比如在网络传输或本地存储，为系统的分布和异构部署提供先决条件。若没有序列化，现在我们所熟悉的远程调用，对象数据库都不可能存在，serialVersionUID适用于java序列化机制。简单来说，JAVA序列化的机制是通过判断类的serialVersionUID来验证的版本一致的。在进行反序列化时，JVM会把传来的字节流中的serialVersionUID于本地相应实体类的serialVersionUID进行比较。如果相同说明...

网上针对sqlmap进行dns注入的相关文章太少，只是简单介绍了下--dns-domain参数，相关的实战文章要么就写的模糊或者一笔带过，搞的云里雾里（主要是菜，关键还没大佬带）。然后自己参考网上的方法自己重新搞了一遍。0X00需要准备的东西，sqlmap、windows盲注一个、两个域名、一台外网服务器。某次搞事情的时候碰到一个时间盲注，碰巧是台windows的，想起dns注入的方法。在开始前我准备先用sqlmap的--sql-shell 命令进行dns注入payloa..

kk-anti-reptile 是适用于基于 spring-boot 开发的分布式系统的反爬虫组件。系统要求 基于 spring-boot 开发(spring-boot1.x, spring-boot2.x均可) 需要使用 redis 工作流程kk-anti-reptile 使用基于 Servlet 规范的的 Filter 对请求进行过滤，在其内部通过 spring-boot 的扩展点机制，实例化一个 Filter，并注入到 Spring 容器 FilterRegistratio

Tomcat 架构原理解析到架构设计借鉴Tomcat 发展这么多年，已经比较成熟稳定。在如今『追新求快』的时代，Tomcat 作为 Java Web 开发必备的工具似乎变成了『熟悉的陌生人』，难道说如今就没有必要深入学习它了么？学习它我们又有什么收获呢？静下心来，细细品味经典的开源作品。提升我们的「内功」，具体来说就是学习大牛们如何设计、架构一个中间件系统，并且让这些经验为我所用。美好的事物往往是整洁而优雅的。但这并不等于简单，而是要将复杂的系统分解成一个个小模块，并且各个模块的职责划分也.

系统信息操作系统版本cat /etc/issuecat /etc/lsb-release # Debian内核版本cat /proc/versionuname -a正在运行的程序和权限ps aux // ps aux | grep redisps -eftopcat /etc/services应用ls -alh /usr/bin/ls -alh /sbin/dpkg -lrpm -qa计划任务cron...

# 简介druid是用于创建和管理连接，利用“池”的方式复用连接减少资源开销，和其他数据源一样，也具有连接数控制、连接可靠性测试、连接泄露控制、缓存语句等功能，另外，druid还扩展了监控统计、防御SQL注入等功能。本文将包含以下内容(因为篇幅较长，可根据需要选择阅读)： druid的使用方法（入门案例、JDNI使用、监控统计、防御SQL注入） druid的配置参数详解 druid主要源码分析 # 使用例子-入门需求使用dru...

来自：大CC链接：www.cnblogs.com/me15/p/3427319.html本文将介绍Linux下使用Shell处理文本时最常用的工具：find、grep、xargs、sort、uniq、tr、cut、paste、wc、sed、awk；提供的例子和参数都是最常用和最为实用的；对shell脚本使用的原则是命令单行书写，尽量不要超过2行；如果有更为复杂的任务需求，还是考虑python吧；我把 linux相关的文章整理成了 PDF，关注公众号Java后端并回复666...

前言SQL注入漏洞作为WEB安全的最常见的漏洞之一，在java中随着预编译与各种ORM框架的使用，注入问题也越来越少。新手代码审计者往往对Java Web应用的多个框架组合而心生畏惧，不知如何下手，希望通过Mybatis框架使用不当导致的SQL注入问题为例，能够抛砖引玉给新手一些思路。一、Mybatis的SQL注入Mybatis的SQL语句可以基于注解的方式写在类方法上面，更多的是以xml的方式写到xml文件。Mybatis中SQL语句需要我们自己手动编写或...

Postwoman是一款开源的 Postman 替代品：1、轻盈，可直接在线访问；2、简约，采用简约的 UI 设计精心打造；3、支持 GET, HEAD, POST, PUT, DELETE, OPTIONS, PATCH 方法；4、支持验证；5、实时，发送请求即可获取响应。体验demo：https://postwoman.io开源地址https://github.com/liyasthomas/postwomanGithubhttps://github.com

作者：陕西颜值扛把子来源：zhuanlan.zhihu.com/p/95560389简介完整代码：https://github.com/PuZhiweizuishuai/SpringSecurity-JWT-Vue-Deom运行展示后端主要展示 Spring Security 与 JWT 结合使用构建后端 API 接口。主要功能包括登陆（如何在 Spring Security 中添加验证码登陆），查找，创建，删除并对用户权限进行区分等等。ps：由于只是 Demo，

来源：https://juejin.im/post/5ef2e2dd6fb9a058727f3bac❝不管是工作还是学习，很多时候我们都不需要自己再造轮子，并且如果有一个足够可用的轮子，在工作或者学习上，都会帮我们节省很多时间，这个真的哦。有的公司的管理框架就是用开源项目改的。今天在这边给大家推荐15个，优质开源Spring Boot & Spring Cloud 的比较多，包括权限管理类、支付类、商城类，博客管理、CRM、ERP等。❞ 微人事 spring-boot.

Apache Tomcat 安全团队报告了一个 Tomcat HTTP/2 DoS 漏洞。HTTP/2 请求的特制序列可能会在数秒内引发较高的 CPU 使用率，如果有足够数量的此类请求在并发 HTTP/2 连接上进行连接时，服务器可能无响应，即造成拒绝服务。该漏洞严重等级定为“重大”（Important），编号 CVE-2020-11996。受影响的软件版本包括： Apache Tomcat 10.0.0-M1 到 10.0.0-M5 Apache Tomcat 9.0.0.

文章来源于信安旅途Tips文章最下方有小礼品噢~看完文章先嘛~0x01 Web漏洞扫描器国内： 绿盟（WVSS）：https://www.nsfocus.com.cn/html/2019/206_0911/8.html安恒（明鉴）：https://www.dbappsecurity.com.cn/sho...

作者：慕容千语来源：http://suo.im/5PaEZI前言:在实际的开发项目中，一个对外暴露的接口往往会面临，瞬间大量的重复的请求提交，如果想过滤掉重复请求造成对业务的伤害，那就需要实现幂等！我们来解释一下幂等的概念：任意多次执行所产生的影响均与一次执行的影响相同。按照这个含义，最终的含义就是 对数据库的影响只能是一次性的，不能重复处理。如何保证其幂等性，通常有以下手段：1、数据库建立唯一性索引，可以保证最终插入数据库的只有一条数据2、token机制，每次接口请...

地址：www.jianshu.com/p/54f157a211af作者：zhaoolee搭建环境: cenntos 7 (相信很多用 vultr 的小伙伴都选择了 centos7~) 2G 内存, 2M 带宽(带宽越大, 同步越流畅) 搭建网盘很简单，只需简单三步，你就能减少对某盘的依赖...第一步:安装 docker#通过yum源安装dockersudo yum -y install docker#启动dockersudo systemctl start..

1. Kali LinuxKali Linux是最著名的Linux发行版，用于道德黑客和渗透测试。Kali Linux由Offensive Security开发，之前由BackTrack开发。Kali Linux基于Debian。它带有来自安全和取证各个领域的大量渗透测试工具。现在，它遵循滚动发布模型，这意味着您集合中的每个工具将始终保持最新状态。它是目前最先进的渗透测试平台，可支持各种设备和硬件平台。此外，Kali Linux提供了不错的文档，并拥有一个庞大而活跃的社区。您可以轻松地在

# 介绍java实现文件的导入导出数据库，目前在大部分系统中是比较常见的功能了，今天写个小demo来理解其原理，没接触过的同学也可以看看参考下。目前我所接触过的导入导出技术主要有POI和iReport，poi主要作为一些数据批量导入数据库，iReport做报表导出。另外还有jxl类似poi的方式，不过貌似很久没跟新了，2007之后的office好像也不支持，这里就不说了。# POI使用详解1 什么是Apache POI？Apache POI是Apache软件...

API 验证 JSON Web Token Token 的结构 Header Payload 哈希算法 JWT 签名 认证过程 登录 验证请求 退出登录 总结 你可以已经听说过 JSON Web Token (JWT) 是目前用于保护 API 的最新技术。与大多数安全主题一样，如果你打算使用它，那很有必要去了解它的工作原理（一定程度上）。问题在于，对 JWT 的大多数解释都是...

前言单点登录SSO(Single Sign On),凡是有一定的开发经验的童鞋都应该有应用或者了解过,小编还是实习生的时候,看到登录某个应用服务后,再跳转其他应用服务,竟然不用再次登录了,觉得贼拉风,不知道大家第一见这种场景时是不是跟小编一样的感觉。今天小编给大家介绍一款分布式单点登录组件xxl-sso,目的就是让大家能短时间内快速的应用到项目中,并从中了解其中的相关的实现原理。项目介绍xxl-sso是一款基于redis轻量级分布式高可用的SSO实现组件,支持web端(Cookie实现)和app

作者：虫二（二进制逆向星球学员）## 汇编指令### 寄存器类#### 0x01 通用寄存器累加器(E)AX = accumulator基址寄存器(E)BX = base计数器(E)CX = counter变址寄存器(E)DX = data#### 0x02 段寄存器代码段寄存器 CS = code segment数据寄存器 DS = data segment堆栈寄存器 SS = st...

首先，我们先来看看一次查询/更新语句流程图mysql查询/更新流程图本文会将重点放在执行器<->存储引擎之间的交互。mysql不是每次数据更改都立刻写到磁盘，而是会先将修改后的结果暂存在内存中,当一段时间后，再一次性将多个修改写到磁盘上，减少磁盘io成本，同时提高操作速度。MySQL通过WAL(write-ahead logging)技术保证事务在同一个事务中，每当数据库进行修改数据操作时，将修改结果更新到内存后，会在redo log添加一行记录记录“..

前言Shiro作为解决权限问题的常用框架，常用于解决认证、授权、加密、会话管理等场景。本文将对Shiro的认证和授权原理进行介绍： Shiro可以做什么？、 Shiro是由什么组成的？ 举个Shiro的例子呗？ Shiro认证的原理是咋样的？ Shiro授权的原理是咋样的？ 1. Shiro可以做什么？在构建一个网络应用的时候，权限检验管理作为非常重要的安全措施，需要包含以下几点： 用户认证— 用户身份识别。得知道来的人是谁； ..

根据某一条件从数据库表中查询 『有』与『没有』，只有两种状态，那为什么在写SQL的时候，还要SELECT count(*) 呢？无论是刚入道的程序员新星，还是精湛沙场多年的程序员老白，都是一如既往的count目前多数人的写法多次REVIEW代码时，发现如现现象：业务代码中，需要根据一个或多个条件，查询是否存在记录，不关心有多少条记录。普遍的SQL及代码写法如下##### SQL写法:SELECT count(*) FROM table WHERE a =...

前言谈到RPC肯定绕不开TCP通信，而主流的RPC框架都依赖于Netty等通信框架，这时候我们还要考虑是使用长连接还是短连接： 短连接：每次通信结束后关闭连接，下次通信需要重新创建连接；优点就是无需管理连接，无需保活连接； 长连接：每次通信结束不关闭连接，连接可以复用，保证了性能；缺点就是连接需要统一管理，并且需要保活； 主流的RPC框架都会追求性能选择使用长连接，所以如何保活连接就是一个重要的话题，也是本文的主题，下面会重点介绍一些保活策略；为什么需要保...

作者：Java的小本家来源：http://suo.im/6uFZuc前言Java 泛型（generics）是 JDK 5 中引入的一个新特性, 泛型提供了编译时类型安全检测机制，该机制允许开发者在编译时检测到非法的类型。泛型的本质是参数化类型，也就是说所操作的数据类型被指定为一个参数。泛型带来的好处在没有泛型的情况的下，通过对类型 Object 的引用来实现参数的“任意化”，“任意化”带来的缺点是要做显式的强制类型转换，而这种转换是要求开发者对实际参数类型可以预知的情况下进行的..

汇编基本语句总结一、 基本框架二、基本运算1. 加2. 减法3. 乘法通用寄存器表4. 除法三、逻辑运算四、循环五、栈操作指针寄存器六、数据移动指令七、比较指令一、 基本框架 .586.MODEL flat, stdcall.codemain procmov eax, 1mov ebx, 2main ENDPEND main二、 基本运算1. 加自增用法：INC 寄存器名（inc...

一.Shodan介绍1.信息收集信息收集对于渗透测试可以说是重中之重，正所谓“知己知彼，百战不殆”。所以我们的信息收集也是一样，收集的信息越多越好。对于目标的信息收集，主要针对目标的服务器系统、数据库系统、中间件系统、应用程序系统、以及边界设备等信息。以及收集针对于系统管理员的信息收集。对于信息收集方式，可以分为以下两类：主动信息收集：直接与目标进行交互，通过对交互过程中的信息进行收集。例如：Nmap扫描、BurpSuite站点地图收集等。被动信息收集：通过第三方...

一、端口服务及利用简析二、端口入侵详情 优秀文章推荐：来自 - zane-shttps://www.cnblogs.com/zane-s/p/12435873.html

项目描述：在微信小程序中通过与Springboot操作数据库实现简单的增删改查，其中我是用springboot整合mybatis-plus 和mysql使用的1. 开发前准备1.1 前置知识 java基础 SpringBoot简单基础知识 1.2 环境参数 开发工具：IDEA 基础环境：Maven+JDK8 主要技术：SpringBoot、lombok、mybatis-plus、mysql 、微信小程序 SpringBoot版本：2.2.6

Part 1反序列化漏洞JAVA反序列化漏洞到底是如何产生的？1、由于很多站点或者RMI仓库等接口处存在java的反序列化功能，于是攻击者可以通过构造特定的恶意对象序列化后的流，让目标反序列化，从而达到自己的恶意预期行为，包括命令执行，甚至 getshell 等等。2、Apache Commons Collections是开源小组Apache研发的一个 Collections 收集器框架。这个框架中有一个InvokerTransformer.java接口，实现该接口的类可以...

来源：kks.me/b3fJk当MySQL单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化：单表优化除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间，甚至能正常支撑千万级以上的数据量：...

MySQL联合查询注入原理union select联合查询，即合并（取交集，结果中没有重复⾏）前后两个查询；前提是前后查询视图必须拥有相同数量的列，列也必需拥有相同的数据类型。Union联合查询注入基本流程1、判断是否存在注入方法一：单引号法注入点'方法二：逻辑法 and 1=1and 1=21' and '1'='11' and '1'=...

今天我们继续来讲一下bypass waf的另一部分例1:http://www.site.com/php?id=2uNiOn-- - (waf)http://www.site.com/php?id=2/*!50000uNiOn*/-- - (waf)http://www.site.com/php?id=2/*!50000%75NiOn*/-- - (waf)URL编码的反斜...

作者：蕃薯耀链接：www.cnblogs.com/fanshuyao一、Session共享使用tomcat-cluster-redis-session-manager插件实现插件地址见：https://github.com/ran-jit/tomcat-cluster-redis-session-manager该插件支持Tomcat7、Tomcat8、Tomcat9或...