qq_28728655的博客

原创 Burp基本用法

1、设置代理推荐使用火狐，谷歌浏览器。在设置中的—>常规拉到最下面有个网络设置。然后输入常用的登录界面在百度搜索打开：inurl：admin或者inurl:login然后开始使用burp工具在登录界面输入账号密码然后打开burp软件的代理：然后点Intercept界面，先确保是OFF状态，在浏览器输入账号密码之后，打开Intercept（ON），就能够采集到刚才的动作。然后就能得到浏览器的输入情况右键或者点add，选择send to intruder。然后点击右边的cl

原创 安装xm8-9

1.安装2.打开XM①编辑–>首选项②将jar包放在根目录，在安装目录的xmind.ini文件最后一行加上-javaagent:D:/Program Files (x86)/XMind/XMindCrack.jar（注意 使用的是" / “直接复制下的是” \ "–>不会生效）③hosts添加④然后添加序列号账号随意填（test）...

原创 pandas处理数据

```pythonimport pandas# df = pandas.read_csv("data.csv")df = pandas.read_csv('data2.csv',header=None, names=["num1","num2","num3","num4","name"])print(df)# print(df.info())

原创 大数据之hadoop

Hadoop01-入门&集群环境搭建今日内容​ Hadoop的介绍​ 集群环境搭建准备工作​ Linux命令和Shell脚本增强​ 集群环境搭建大数据概述​ 大数据: 就是对海量数据进行分析处理，得到一些有价值的信息，然后帮助企业做出判断和决策.​ 处理流程:​ 1:获取数据​ 2:处理数据​ 3:展示结果1：Hadoop介绍Hadoop是一个分布式系

原创 Note05 Hive

什么是数仓1.1. 基本概念英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。它出于分析性报告和决策支持目的而创建。数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因1.2. 主要特征数据仓库是面向主题的（Subject-Oriented ）、集成的（Integrated）、非易失.

原创 Hadoop Day 03

1. MapReduce 介绍MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。Map负责“分”，即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎没有依赖关系。Reduce负责“合”，即对map阶段的结果进行全局汇总。MapReduce运行在yarn集群ResourceManagerNodeManager这两个阶段合起

原创 Python分布式计算

原创 Hadoop 02 核心介绍

1. HDFSHDFS是一个 Apache Software Foundation 项目, 是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS 使用多台计算机存储文件, 并且提供统一的访问接口, 像是访问一个普通文件系统一样使用分布式文件系统. HDFS 对数据文件的访问通过流的方式进行处理, 这意味着通过命令和 MapReduce 程序的方式可以直接使用 HDFS. HDFS 是容错的, 且提

原创 RE&爬虫实例

# -*- coding:utf-8 -*-# Author:leofrom urllib.request import urlopenimport reurl = "https://mx.moyoi.cn/index.html"response = urlopen(url)html_text = response.read().decode()res_url = "<a.*?href=\"(http.*?)\".*?>"r = re.findall(res_url,h...

原创 库

range和xrange区别，只有在python2中才有xrange和range，python3中没有xrange，并且python3中的range和python2中的range有 本质的区别。所以这儿说的range和xrange的区别是只针对python2的。使用xrange()进行遍历，每次遍历只返回一个值。range()返回的是一个列表一次性计算并返回所有的值。一次xrange()的执行效率要高于range()python3中为什么没有了range了呢（额，这个怎么描述呢，是有range，但是这

原创 2021-02-25

函数：带个return没有return的话print func()输出结果就是 None1.函数基本概念2.参数 <=> 抽象3.参数 分为 可选参数 必须的参数‘’’‘’’更复杂的需求1 + 2 = 31 + 2 + 31 + 2+ …+ 1000def add(*num):d = 0for i in num:d += ireturn dprint add(1,2,3,4,5)def add(*num):d = 0for i in num: d +

原创 Tomcat&Servlet

web相关1. 软件架构 1. C/S：客户端/服务器端 2. B/S：浏览器/服务器端2. 资源分类 1. 静态资源：所有用户访问后，得到的结果都是一样的，称为静态资源.静态资源可以直接被浏览器解析 * 如： html,css,JavaScript 2. 动态资源:每个用户访问相同资源后，得到的结果可能不一样。称为动态资源。动态资源被访问后，需要先转换为静态资源，在返回给浏览器 * 如：servlet/jsp,php,asp.... 3. 网络通信三要素 1. IP：电子设

原创 习题集

习题：# -*- coding:utf-8 -*-# Author:leo# 1.定义一个方法 func，该func可以引入任意多的整型参数，结果返回其中最大与最小的值。# def get_max_min(*num):# return max(num),min(num)# # for i in num:# # return max(i),min(i)### res = get_max_min(1,4,67,4,35,0)# print(res)

原创 2021-02-22

反斜杠（\）和小括号（） 美化格式：三.变量与赋值1.变量命名规范。1.1 记住不能做什么：不能用关键字，开头不能用数字,不能用操作符。1.2 怎么搭配最合理：没事别乱用大写。清晰。尽量不要用拼音。用拼音的话用全称。2.赋值2.1 记住动态特性。2.2 多重赋值。2.4 删除。type，help，dir内置方法将伴随一生...

原创 2020-12-31

oop封装，（Encapsulation)将客观事物封装成抽象的类。类可以把自己的数据和方法只让可信的类或对象操作，对不可信的进行信息隐藏。目的:1✔保证关键数据的安全性2✔对外部隐藏实现的细节，隔离复杂度。什么时候用到封装?当一些数据不希望被外界直接访问，直接修改当一些函数不希望被外界使用...

原创 spark_01

Object WordCount{def main(args:Array[String]):unit={//设定Spark计算框架运行（部署）环境val config: SparkContext=new SparkConf().setMaster(“local[*]”).setAppname(“WordCount”)//创建Spark上下文val sc = new SparkContext(config)//读取文件，将文件内容一行一行读取textFileval lines： RDD[Stri

原创 框架入门

1、什么是框架？它是我们软件开发中的一套解决方案，不同的框架解决的是不同的问题。使用框架的好处：框架封装了很多的细节，使开发者可以使用极简的方式实现功能。大大提高开发效率。2、三层架构表现层：是用于展示数据的业务层：是处理业务需求持久层：是和数据库交互的3、持久层技术解决方案JDBC技术：ConnectionPreparedStatementResultSetSpring的JdbcTemplate：Spring中对jdbc的简单封装Apache的DBUtils：它和Sp

原创 XML（可扩展标记语言）

XML：1. 概念：Extensible Markup Language 可扩展标记语言 * 可扩展：标签都是自定义的。 <user> <student> * 功能 * 存储数据 1. 配置文件 2. 在网络中传输 * xml与html的区别 1. xml标签都是自定义的，html标签是预定义。 2. xml的语法严格，html语法松散 3. xml是存储数据的，html是展示数据 * w3c:万维网联盟2. 语法： * 基本语法：

原创 Bootstrap（前端框架）

Bootstrap：1. 概念： 一个前端开发的框架，Bootstrap，来自 Twitter，是目前很受欢迎的前端框架。Bootstrap 是基于 HTML、CSS、JavaScript 的，它简洁灵活，使得 Web 开发更加快捷。* 框架:一个半成品软件，开发人员可以在框架基础上，在进行开发，简化编码。* 好处：1. 定义了很多的css样式和js插件。我们开发人员直接可以使用这些样式和插件得到丰富的页面效果。2. 响应式布局。* 同一套页面可以兼容不同分辨率的设备。2. 快速入门 1.

原创 JavaScript基础

JavaScript：* 概念： 一门客户端脚本语言* 运行在客户端浏览器中的。每一个浏览器都有JavaScript的解析引擎* 脚本语言：不需要编译，直接就可以被浏览器解析执行了* 功能： * 可以来增强用户和html页面的交互过程，可以来控制html元素，让页面有一些动态的效果，增强用户的体验。* JavaScript发展史： 1. 1992年，Nombase公司，开发出第一门客户端脚本语言，专门用于表单的校验。命名为 ： C-- ，后来更名为：ScriptEase 2. 1995年，

原创 HTML&CSS

HTML标签：表单标签* 表单： * 概念：用于采集用户输入的数据的。用于和服务器进行交互。 * form：用于定义表单的。可以定义一个范围，范围代表采集用户数据的范围 * 属性： * action：指定提交数据的URL * method:指定提交方式 * 分类：一共7种，2种比较常用 * get： 1. 请求参数会在地址

原创 Nosql

redis数据库：是一款高性能的NOSQL系列的非关系型数据库NoSQL(NoSQL = Not Only SQL)，意即“不仅仅是SQL”，是一项全新的数据库理念，泛指非关系型的数据库。非关系型数据库的优势：1）性能NOSQL是基于键值对的，可以想象成表中的主键和值的对应关系，而且不需要经过SQL层的解析，所以性能非常高。2）可扩展性同样也是因为基于键值对，数据之间没有耦合性，所以非常容易水平扩展。 1.1.3. 关系型数据库的优势： 1）复杂查询可以用SQL语句方便的在一个表以及多个表

原创 Html入门

今日内容1. web概念概述2. HTMLweb概念概述* JavaWeb： * 使用Java语言开发基于互联网的项目* 软件架构： 1. C/S: Client/Server 客户端/服务器端 * 在用户本地有一个客户端程序，在远程有一个服务器端程序 * 如：QQ，迅雷... * 优点： 1. 用户体验好 * 缺点： 1. 开发、安装，部署，维护 麻烦 2. B/S: Browser/Server 浏览器/服务器端 * 只需要一个浏览器，用户通过不同的网

原创 数据库连接池

数据库连接池1. 概念：其实就是一个容器(集合)，存放数据库连接的容器。 当系统初始化好后，容器被创建，容器中会申请一些连接对象，当用户来访问数据库时，从容器中获取连接对象，用户访问完之后，会将连接对象归还给容器。2. 好处： 1. 节约资源 2. 用户访问高效3. 实现： 1. 标准接口：DataSource javax.sql包下的 1. 方法： * 获取连接：getConnection() * 归还连接：Connection.close()。如果连接对象C

原创 JDBC

标题今日内容1. JDBC基本概念2. 快速入门3. 对JDBC中各个接口和类详解JDBC：1. 概念：(Java DataBase Connectivity) Java 数据库连接， Java语言操作数据库 * JDBC本质：其实是官方（sun公司）定义的一套操作所有关系型数据库的规则，即接口。 * 各个数据库厂商去实现这套接口，提供数据库驱动jar包。我们可以使用这套接口（JDBC）编程，真正执行的代码是驱动jar包中的实现类。2. 快速入门： * 步骤： 1. 导入驱动j

原创 SQL进阶6

DCLDCL：* SQL分类：1. DDL：操作数据库和表(Data Definition Language)主要是建表、删除表、修改表字段等操作2. DML：增删改表中数据（Data Manipulation Language）M操作主要是数据库增删改三种操作3. DQL：查询表中数据（Data Query Language）数据查询语言 select操作4. DCL：管理用户，授权（Data Control Language）数据库控制语言* DBA：数据库管理员（Administrato

原创 SQL进阶5

事务（Transaction）事务的基本介绍1. 概念：* 如果一个包含多个步骤的业务操作，被事务管理，那么这些操作要么同时成功，要么同时失败。 2. 操作： 1. 开启事务： start transaction; 2. 回滚：rollback; 3. 提交：commit; 3. 例子： CREATE TABLE account ( id INT PRIMARY KEY AUTO_INCREMENT, NAME VARCHAR(10), balance DO

原创 SQL进阶4

多表查询SELECT * FROM emp,dept WHERE emp.`dept_id` = dept.`id`; -- 查询员工表的名称，性别。部门表的名称 SELECT emp.name,emp.gender,dept.name FROM emp,dept WHERE emp.`dept_id` = dept.`id`; SELECT t1.name, -- 员工表的姓名 t1.gender,-- 员工表的性别 t2.n

原创 SQL进阶3

数据局库设计1.多表间关系2.数据库设计范式3.数据库备份还原*注意: 路径格式：例：D://test.sql

原创 SQL进阶2

SQLDQL:查询语句排序查询语法：order by 排序字段 排序方式；聚合函数将一列数据作为整体，进行纵向计算分组查询分页查询约束唯一约束：unique，某一列的值不能重复主键约束：primary key5. 自动增长①概念：如果某一列是数值类型，使用auto_increment可以来完成值的自动增长②在创建表时，添加主键约束，并且完成主键自增长。外键约束：foreign key...

原创 SQL入门到放弃

sql进阶使用mysql时 注释①-- 内容（–之后有一个空格）②# 内容（可以不用空格）①② 是单行注释③ /* 内容*/ 多行注释DDL（操作数据库、表）关键字：CRUD①C（Create）创建壹、对于数据库create database 数据库名；-- 创建数据库create database if not exists 数据库名；-- 创建数据库，判断不存在，再创建create database if not exists db1 character set gbk

原创 B/S基本案例

斜体样式先进行package BS_TCP;import java.io.*;import java.net.ServerSocket;import java.net.Socket;/** 创建BS版本服务器* */public class TCPServer { public static void main(String[] args) throws IOException { //创建一个服务器ServerSocket，和系统指定的端口号 ...

原创 学习之TCP简单传输文件

TCP简单传输文件传输分为客户端和服务端：1.客户端package TCP;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStream;import java.io.OutputStream;import java.net.Socket;public class FileUpload_TCPClient {public static void main(String[] arg

原创 学习之路第二章

对象 关键字等对象创建基本：类名称 对象名 = new 对象名（）；匿名对象：注意事项 匿名对象只能使用唯一一次，下次再用需要创建新对象new 对象名称（）；egnew Person().name=“张三”；数组缺点：一旦创建，程序运行期渐渐长度不可以发生改变。因此引用了ArrayList—>该集合的长度可以改变;代表泛型，泛型也就是装在集合当中的所有元素，全部是统一的什么类型。注意：泛型只能是引用类型，不能是基础类型。对于ArrayList集合而言，直接打印（lis

原创 面对对象和封装

Java笔记