- 博客(72)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 数据预处理的相关
在处理数据时，可能会遇到数据的数量级差异过大，这会导致一些参数的权重非常大，而其他参数的权重非常小。此时可通过数据归一化方法将数据的数量级调整为相同的范围，以便更好地处理数据。数据预处理是将原始数据整理，清洗、修正或去除不需要的数据或噪声以及准备数据。总结：数据预处理是模型训练非常重要的一部分，可以帮助我们将数据转换为更容易处理的格式，提高训练的效率和精度。在实际项目中，预处理方法的选择要根据具体数据集的特点进行决策。例如，数据中可能会存在缺失值，就需要对数据进行插补，以得到一个完整数据集。
2023-04-04 21:29:57
131
原创 人工智能的相关
图像识别技术的基础是机器学习，具体的实现方法是深度卷积神经网络。深度卷积神经网络有多层神经网络，加入了卷积、池化和激活函数等模块来处理图像数据，这样就可以有效地学习图像中的特征信息。随着深度学习、神经网络和自然语言处理等技术的不断发展，人工智能已经广泛应用于商业、金融、医疗、教育等领域。在训练时，可以进行数据增强，即使用不同的变形、旋转和平移等方式来增加数据集的大小，让神经网络学习更多的特征。通过深度卷积神经网络的实现，我们可以更有效地实现图像识别，实现自动化图像分类，其意义重大。
2023-04-04 21:27:42
563
原创 2021-10-21
【Spring简介】Spring框架是一个开放源代码的J2EE应用程序框架，由Rod Johnson发起，是针对bean的生命周期进行管理的轻量级容器（lightweight container）。Spring解决了开发者在J2EE开发中遇到的许多常见的问题，提供了功能强大IOC、AOP及Web MVC等功能。Spring可以单独应用于构筑应用程序，也可以和Struts、Webwork、Tapestry等众多Web框架组合使用，并且可以与Swing等桌面应用程序AP组合。因此， Spring不仅仅能应用于
2021-10-21 07:16:11
90
原创 2021-10-16
【SSM简介】SSM（Spring+SpringMVC+MyBatis）框架集由Spring、MyBatis两个开源框架整合而成（SpringMVC是Spring中的部分内容）。常作为数据源较简单的web项目的框架。【SSM框架理解】SpringSpring就像是整个项目中装配bean的大工厂，在配置文件中可以指定使用特定的参数去调用实体类的构造方法来实例化对象。Spring的核心思想是IoC（控制反转），即不再需要程序员去显式地new一个对象，而是让Spring框架帮你来完成这一切。Sprin
2021-10-16 07:33:55
100
原创 初识Hadoop
概要随着近几年计算机技术和互联网的发展，“大数据”这个词被提及的越来越频繁。与此同时，大数据的快速发展也在无时无刻影响着我们的生活。例如，医疗方面，大数据能够帮助医生预测疾病；电商方面，大数据能够向顾客个性化推荐商品；交通方面，大数据会帮助人们选择最佳出行方案。Hadoop作为一个能够对大量数据进行分布式处理的软件框架，用户可以利用Hadoop生态体系开发和处理海量数据。由于Hadoop有可靠及高效的处理性能，使得它逐渐成为分析大数据的领先平台。大数据概述什么是大数据高速发展的信息时代，新一轮科技
2021-05-20 22:59:10
423
4
原创 综合案例—Spark实时交易数据统计
概要通过Spark Streaming技术开发商品实时交易数据统计模块案例，该系统主要功能是在前端页面以动态报表展示后端不断增长的数据，这也是所谓的看板平台。通过学习并开发看板平台，从而帮助读者理解大数据实时计算架构的开发流程，并能够掌握Spark实时计算框架Spark Streaming在实际应用中的使用方法。系统概述系统背景介绍双十一是每年11月11日的电商促销活动，2018年最终24小时总成交额为2135亿。现场庆典中，成交额在大屏幕中实时刷新展示，这就用到了数据可视化技术，数据可视化是借助于
2021-05-17 19:57:42
4938
11
原创 Spark MLlib 机器学习算法库
✎ 学习目标了解什么是机器学习及Spark MLlib的基本使用方式掌握机器学习的工作流程了解电影推荐系统的构建流程理解MLlib的数据类型概要MLlib是Spark提供的处理机器学习方面的功能库，该库包含了许多机器学习算法，开发者可以不需要深入了解机器学习算法就能开发出相关程序。初识机器学习什么是实时计算机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科，专门研究计算机如何模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使
2021-05-17 19:44:36
3105
7
原创 Spark Streaming实时计算框架
Spark Streaming实时计算框架✎ 学习目标1.了解什么是实时计算2.掌握DStream的转换、窗口、输出操作3.理解Spark Streaming工作原理4.掌握Spark Streaming和Kafka整合概要近年来，在Web应用、网络监控、传感监测、电信金融、生产制造等领域，增强了对数据实时处理的需求，而Spark中的Spark Streaming实时计算框架就是为实现对数据实时处理的需求而设计。在电子商务中，淘宝、京东网站从用户点击的行为和浏览的历史记录中发现用户的购买意图和
2021-04-19 15:23:36
1243
1
原创 绕过剔除and和or的SQL注入
1. 基础知识介绍Mysql基础知识介绍1、Mysql中的大小写不敏感，大写与小写一样。2、Mysql 中的十六进制与URL编码。3、符号和关键字替换 and – &&、or – ||。4、内联注释与多行注释 /! 内联注释/ /多行注释/。2. 去除and和or的代码分析preg_replace(mixed $pattern , mixed $replacement , mixed $subject):执行一个正则表达式的搜索和替换。$pattern: 要搜索的模式
2021-04-19 14:59:48
275
原创 unicode绕过过滤触发XSS
1. unicode介绍Unicode（统一码、万国码、单一码）是计算机科学领域里的一项业界标准，包括字符集、编码方案等。Unicode 是为了解决传统的字符编码方案的局限而产生的，它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。使用python将字符转换为unicode类型。2. XSS挖掘构造无害独一字符串，在响应在寻找该字符串。3. 双斜杠+unicode绕过双斜杠+unicode绕过4. Payload触发XSSPayload
2021-04-19 14:56:45
338
原创 Sqlmap检索DBMS信息
1. Sqlmap检索DBMS Banner获取后端数据库Banner信息。–banner或者 -b2. Sqlmap检索DBMS当前用户获取DBMS当前用户–current-user3. Sqlmap检索DBMS当前数据库获取当前数据库名。–current-db4. Sqlmap检索DBMS当前主机名–hostname...
2021-03-18 21:27:03
352
原创 16进制绕过过滤触发XSS
1. 16进制介绍十六进制转换有16进制每一位上可以是从小到大为0、1、2、3、4、5、6、7、8、9、A、B、C、D、E、F16个大小不同的数，即逢16进1，其中用A，B，C，D，E，F（字母不区分大小写）这六个字母来分别表示10，11，12，13，14，15。使用python将字符转换为16进制类型。2. XSS挖掘构造无害独一字符串，在响应在寻找该字符串。双斜杠+16进制绕过Payload触发XSSPayload: \\x3cscript\\x3ealert(documen
2021-03-18 21:24:29
618
1
原创 Sqlmap注入技术参数
1. Sqlmap设置union查询表某些情况下，Sqlmap需要设定Union 查询SQL注入的具体数据表才可以得到数据。–union-from 表名2. Sqlmap设置DNS露出攻击针对目标网络很有可能对外部流量进行限制，或者设置WAF。通过设置DNS流量来突破限制 --dns-domain “dns服务器” 需要用户自身具有一个开放53端口的DNS服务器，通过DNS流量来获得Web应用程序中数据内容。3. Sqlmap设置二次注入Sqlmap中可以设置二次注入的结果页面。–
2021-03-18 21:21:14
242
原创 Kafka分布式发布订阅消息系统
Kafka分布式发布订阅消息系统✎ 学习目标1.了解Kafka Streams API的使用2.掌握基本的消息传递模式3.理解Kafka工作原理4.掌握Kafka集群部署和基本操作Kafka是一个高吞吐量的分布式发布订阅消息系统，它在实时计算系统中有着非常强大的功能。通常情况下，我们使用Kafka构建系统或应用程序之间的数据管道，用来转换或响应实时数据，使数据能够及时的进行业务计算，得出相应结果。Kafka概述消息传递模式简介一个消息系统负责将数据从一个应用程序传递到另外一个应用程序中，应
2021-03-18 21:11:07
1457
原创 HBase分布式数据库
✎ 学习目标理解HBase的数据类型和架构掌握HBase的集群部署理解HBase读写数据流程掌握HBase与Hive的整合Spark计算框架是如何在分布式环境下对数据处理后的结果进行随机的、实时的存储呢？HBase数据库正是为了解决这种问题而应用而生。HBase数据库不同于一般的数据库，如MySQL数据库和Oracle数据库是基于行进行数据的存储，而HBase则是基于列进行数据的存储，这样的话，HBase就可以随着存储数据的不断增加而实时动态的增加列，从而满足Spark计算框架可以实时的将处理
2021-03-14 20:34:18
755
原创 Spark SQL结构化数据文件处理
✎ 学习目标理解Spark SQL基本概念掌握DataFrameDataset的创建方式理解Spark SQL的架构掌握RDD转换DataFrame的方式及Spark SQL操作数据源在很多情况下，开发工程师并不了解Scala语言，也不了解Spark常用API，但又非常想要使用Spark框架提供的强大的数据分析能力。Spark的开发工程师们考虑到了这个问题，利用SQL语言的语法简洁、学习门槛低以及在编程语言普及程度和流行程度高等诸多优势，从而开发了Spark SQL模块，通过Spark SQL
2021-03-12 18:51:20
1319
原创 IE中利用CSS触发XSS
1. CSS介绍层叠样式表(英文全称：Cascading Style Sheets)是一种用来表现HTML（标准通用标记语言的一个应用）或XML（标准通用标记语言的一个子集）等文件样式的计算机语言。CSS不仅可以静态地修饰网页，还可以配合各种脚本语言动态地对网页各元素进行格式化。2. CSS中执行jscss expression(css表达式)又称Dynamic properties(动态属性)是早期微软DHTML的产物，以其可以在Css中定义表达式(公式)来达到建立元素间属性之间的联系等作用，从I
2021-03-12 13:59:39
690
原创 文件上传-竞争条件
1. 文件上传过程介绍文件上传过程：服务器获取文件>>>保存上传临时文件>>>重命名移动临时文件2. 竞争条件原理介绍网站逻辑：1、网站允许上传任意文件，然后检查上传文件是否包含Webshell，如果包含删除该文件。2、网站允许上传任意文件，但是如果不是指定类型，那么使用unlink删除文件。在删除之前访问上传的php文件，从而执行上传文件中的php代码。例如：上传文件代码如下<?php fputs(fopen('shell.php','w'),
2021-03-12 13:56:03
764
原创 Spark RDD弹性分布式数据集
✎ 学习目标理解RDD的五大特征和Spark的任务调度掌握RDD的创建方式了解RDD的依赖关系以及持久化和容错机制掌握RDD的转换算子和行动算子操作传统的MapReduce虽然具有自动容错、平衡负载和可拓展性的优点，但是其最大缺点是采用非循环式的数据流模型，使得在迭代计算式要进行大量的磁盘IO操作。Spark中的RDD可以很好的解决这一缺点。RDD是Spark提供的最重要的抽象概念，我们可以将RDD理解为一个分布式存储在集群中的大型数据集合，不同RDD之间可以通过转换操作形成依赖关系实现管道
2021-03-12 13:48:48
241
原创 Spark基础
✎ 学习目标1.了解Spark的特点2.掌握Spark集群的搭建和配置及架构3.理解Spark作业提交的工作原理4.掌握Spark HA集群的搭建和配置Spark于2009年诞生于美国加州大学伯克利分校的AMP实验室，它是一个可应用于大规模数据处理的统一分析引擎。Spark不仅计算速度快，而且内置了丰富的API，使得我们能够更加容易编写程序。Spark的概述Spark在2013年加入Apache孵化器项目，之后获得迅猛的发展，并于2014年正式成为Apache软件基金会的顶级项目。Spark生
2021-03-11 13:46:25
2256
5
原创 Scala语言基础
Scala语言基础✎ 学习目标了解Scala的特点掌握Scala和IDEA的下载安装熟悉Scala面向对象的特性掌握Scala的基础语法、数据结构、模式匹配与样例类Spark是专为大规模数据处理而设计的快速通用的计算引擎，它是由Scala语言开发实现的，关于大数据技术，本身就是计算数据，而Scala既有面向对象组织项目工程的能力，又具备计算数据的功能，同时Spark和Scala的紧密集成，本书将采用Scala语言开发Spark程序，所以学好Scala将有助于我们更好的掌握Spark框架。S
2021-03-08 13:41:15
665
原创 利用CSS特性绕过XSS过滤
利用CSS特性绕过XSS过滤1. XSS漏洞发现构造特殊无害字符串，响应中寻找字符串。2. 基本XSS利用1、HTML事件触发XSS2、闭合input，利用外部标签触发XSS3. XSS特性讲解background:url(“javascript:alert(document.domain);”); 设置背景颜色设置background:url ，利用javascript伪协议执行js。 目前IE浏览器支持，其他浏览器已经不再支持。4. Payload触发XSSPayload:
2021-03-07 13:16:20
405
1
原创 SQL注入绕过技术
SQL注入绕过技术1. 大小写绕过如果程序中设置了过滤关键字，但是过滤过程中并没有对关键字组成进行深入分析过滤，导致只是对整体进行过滤。例如：and 过滤。当然这种过滤只是发现关键字出现，并不会对关键字处理。通过修改关键字内字母大小写来绕过过滤措施。例如：AnD 1=1例如：在进行探测当前表的字段数时，使用order by 数字进行探测。如果过滤了order ，可以使用OrdER来进行绕过。2. 双写绕过如果在程序中设置出现关键字之后替换为空，那么SQL注入攻击也不会发生。对于这样的过滤策略可以
2021-03-07 13:11:55
135
原创 Sqlmap注入技术参数
Sqlmap注入技术参数1. Sqlmap设置具体SQL注入技术–technique 参数用来设置具体SQL注入技术。以下列出Sqlmap支持的SQL注入技术。B: Boolean-based blind 基于布尔的盲注E: Error-based 报错注入U: Union query-based Union查询注入S: Stacked queries 堆叠注入T: Time-based blind 基于时间的盲注Q: Inline queries 内联查询注入例如：sq
2021-03-07 13:09:03
2298
原创 绕过剔除空格的SQL注入
绕过剔除空格的SQL注入1. 基础知识介绍1、Mysql中的大小写不敏感，大写与小写一样。2、Mysql 中的十六进制与URL编码。3、符号和关键字替换 and – &&、or – ||。4、内联注释与多行注释 /! 内联注释/ /多行注释/。5、Mysql中会自动识别URL与Hex编码好的内容。2. 去除空格的代码分析preg_replace(mixed $pattern , mixed $replacement , mixed $subject):执行一个正则表达
2021-03-07 13:06:50
683
原创 Sqlmap枚举信息
Sqlmap枚举信息1. Sqlmap列举数据库名–dbs 列举数据库名称2. Sqlmap枚举数据库表–tables 枚举表名 --> 指定具体数据库 -D 数据库名–exclude-sysdbs3. Sqlmap枚举数据表列–columns -D指定数据库 -T指定数据表 -C指定具体字段4. Sqlmap枚举数据值–dump...
2021-03-07 13:03:52
230
原创 Cookie Base64编码注入
Cookie Base64编码注入1. Base64介绍Base64编码是从二进制到字符的过程，可用于在HTTP环境下传递较长的标识信息。Base64是网络上最常见的用于传输8Bit字节码的编码方式之一，Base64就是一种基于64个可打印字符来表示二进制数据的方法。将原始内容转换为二进制，从左到右依次取6位，然后在最高位补两位0，形成新的内容。编码规则：①.把3个字符变成4个字符。②.每76个字符加一个换行符。③.最后的结束符也要处理。2. Cookie Base64注入代码分析base
2021-03-07 13:01:30
405
原创 绕过剔除and和or的SQL注入
绕过剔除and和or的SQL注入1. 基础知识介绍1、Mysql中的大小写不敏感，大写与小写一样。2、Mysql 中的十六进制与URL编码。3、符号和关键字替换 and – &&、or – ||。4、内联注释与多行注释 /! 内联注释/ /多行注释/。2. 去除and和or的代码分析preg_replace(mixed $pattern , mixed $replacement , mixed $subject):执行一个正则表达式的搜索和替换。$pattern: 要
2021-03-07 12:58:24
875
原创 unicode绕过过滤触发XSS
unicode绕过过滤触发XSS1. unicode介绍Unicode（统一码、万国码、单一码）是计算机科学领域里的一项业界标准，包括字符集、编码方案等。Unicode 是为了解决传统的字符编码方案的局限而产生的，它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。使用python将字符转换为unicode类型。2. XSS挖掘构造无害独一字符串，在响应在寻找该字符串。3. 双斜杠+unicode绕过4. Payload触发XSSPayl
2021-03-07 12:55:03
640
原创 Sqlmap枚举DBMS用户信息
Sqlmap枚举DBMS用户信息1. Sqlmap探测当前用户DBA–is-dba 探测当前用户是否是数据库管理员。2. Sqlmap枚举DBMS用户获取DBMS所有用户–users3. Sqlmap枚举DBMS用户密码–password 获取用户密码4. Sqlmap枚举DBMS权限–privileges --role(角色)...
2021-03-07 12:49:58
144
原创 Cookie注入
Cookie注入1. Cookie介绍服务器可以利用Cookies包含信息的任意性来筛选并经常性维护这些信息，以判断在HTTP传输中的状态。Cookies最典型的应用是判定注册用户是否已经登录网站，用户可能会得到提示，是否在下一次进入此网站时保留用户信息以便简化登录手续，这些都是Cookies的功能。另一个重要应用场合是“购物车”之类处理。用户可能会在一段时间内在同一家网站的不同页面中选择不同的商品，这些信息都会写Cookies，以便在最后付款时提取信息2. Cookie注入代码分析代码中使用Coo
2021-02-26 17:57:29
122
原创 宽字节SQL注入
宽字节SQL注入1. 宽字节注入基础最常使用的宽字节注入是利用%df，其实我们只要第一个ascii码大于128就可以了，比如ascii码为129的就可以，但是我们怎么将他转换为URL编码呢，其实很简单，我们先将129（十进制）转换为十六进制，为0x81，如图1所示，然后在十六进制前面加%即可，即为%81GBK首字节对应0×81-0xFE，尾字节对应0×40-0xFE（除0×7F）2. 宽字节注入代码分析Sqli-Less32 代码分析mysql_real_escape_string() 和 ad
2021-02-25 15:30:08
141
原创 Sqlmap系统参数
Sqlmap系统参数1. Sqlmap执行系统命令–os-shell2. Sqlmap结合Metasploitpython sqlmap.py -u “注入点” --os-pwn MySQL and PostgreSQL3.注册表介绍注册表（Registry，繁体中文版Windows操作系统称之为登录档）是Microsoft Windows中的一个重要的数据库，用于存储系统和应用程序的设置信息。早在Windows 3.0推出OLE技术的时候，注册表就已经出现。随后推出的Windows N
2021-02-25 15:21:57
378
原创 二次注入分析
二次注入分析1. 二次注入介绍2. 二次注入代码分析3. 二次注入利用注册用户 admin – - ,修改密码查看数据库内容。4. 二次注入危害1、注入Payload触发二次SQL注入2、注入Payload触发XSS攻击。
2021-02-25 15:17:48
102
原创 Sqlmap通用参数
Sqlmap通用参数1. Sqlmap设置盲注字符集在基于布尔和基于时间的SQL盲注中，用户可以强制使用自定义字符集来加速数据检索过程。例如，如果转储消息摘要值(例如SHA1)，则使用–charset=“0123456789abcdef”，预期请求数量比正常运行少30%左右。2. Sqlmap爬取URLsqlmap可以通过从目标位置开始收集链接(爬行)来收集潜在的脆弱链接。使用此选项，用户可以设置一个深度(到起始位置的距离)，低于这个深度，sqlmap不会进入收集阶段，因为只要有新的链接要访问，
2021-02-25 15:03:13
516
原创 针对asp+access网站进行sql注入利用
针对asp+access网站进行sql注入利用1. asp+access网站技术介绍ASP即Active Server Pages，是MicroSoft公司开发的服务器端脚本环境，可用来创建动态交互式网页并建立强大的web应用程序。当服务器收到对ASP文件的请求时，它会处理包含在用于构建发送给浏览器的HTML（Hyper Text Markup Language，超文本置标语言）网页文件中的服务器端脚本代码。除服务器端脚本代码外，ASP文件也可以包含文本、HTML（包括相关的客户端脚本）和com组件调用
2021-02-25 14:59:54
271
原创 无防护的CSRF漏洞利用
无防护的CSRF漏洞利用1. GET型CSRF代码分析2. GET型CSRF利用构造GET型 URL，提交username和password参数，以此来新建对应的用户名和密码。http://127.0.0.1/csrf_test/get_csrf/new_user.php?username=admin111111&password=132251231隐蔽利用 img标签 src属性3. POST型CSRF代码分析4. POST型CSRF利用设置表单用于提交。例如：..
2021-02-25 14:56:52
111
原创 文件上传-绕过MIME-Type验证
文件上传-绕过MIME-Type验证MIME-Type介绍MIME(Multipurpose Internet Mail Extensions)多用途互联网邮件扩展类型。是设定某种扩展名的文件用一种应用程序来打开的方式类型，当该扩展名文件被访问的时候，浏览器会自动使用指定应用程序来打开。多用于指定一些客户端自定义的文件名，以及一些媒体文件打开方式。例如：验证MIME-Type代码分析查看源代码分析 使用$_FILE[‘upload_file’][‘type’]获取上传文件的MIME-T
2021-02-23 21:44:33
264
apache-tomcat-7.0.106.rar
2021-02-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人