- 博客(77)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 BUGKU-simple_SSTI_1漏洞注入
SSTI全称Server side template injection.服务端模板注入这节课主要讲flask的模板注入.flask会把类似于 的变量当做参数来渲染并填充到web页面,如果该参数可控并被后台解析则有可能被注入恶意代码导致注入漏洞请注意 模板注入只会存在于二次渲染中,无二次渲染不会出现模板注入。
2023-10-08 12:39:35
286
转载 块存储、文件存储、对象存储的差别及优缺点
外挂存储根据连接的方式分为：直连式存储（Direct-Attached Storage，简称DAS）和网络化存储（Fabric-Attached Storage，简称FAS）；网络化存储根据传输协议又分为：网络接入存储（Network-Attached Storage，简称NAS）和存储区域网络（Storage Area Network，简称SAN）。
2023-08-28 11:02:07
942
原创 Python数据分析第三节课Matplotlib作业
第三节课Matplotlib作业练习1： 散点图寻找最佳赢利点示例示例输出结果展示：练习2： 条状图对比电影票房代码示例：输出结果展示：需要注意的部分：1. text函数2. arrow函数3. 一些小知识练习1： 散点图寻找最佳赢利点为了对某一产品进行合理定价，我们对此类商品进行了试销实验，价格与需求量数据如下。利用图表分析规律。price = [60,80,40,30,70,90,95]sales = [100,50,120,135,65,45,40]示例示例# !/u
2021-01-07 00:11:18
609
原创 Python数据分析之Matplotlib散点图|条形图|直方图
Python数据分析之Matplotlib散点图|条形图|直方图1.散点图2.条形图/柱状图3.直方图4.图形示例1.散点图散点图的特点散点图用来表示两组一维数据之间的关联，或展示坐标数据的分布关系。散点图不同于折线图，它是由一个一个的点构成的，点之间并不会用直线连接起来。如何使用散点图scatter(x, y, s=None, c=None, marker=None, cmap=None, norm=None,vmin=None, vmax=None, alpha=None,
2021-01-06 19:40:11
595
原创 Python数据分析之matplotlib折线图
Python数据分析之matplotlib折线图1.需求2.需求分析3.代码示例4.总结和思考1.需求需求假设大家在30岁,根据实际情况,统计出你和同桌从11岁倒30岁做成的男女朋友数量,绘出折线图分析自己和同桌的谈恋爱走势‘’’a = [1,0,1,1,2,4,3,2,3,4,4,5,6,5,4,3,3,1,1,1]b = [1,0,3,1,2,2,2,3,1,1,1,1,1,2,1,1,2,3,2,2]‘’’要求y轴表示个数,x轴表示岁数2.需求分析1.需要反映走势,采用折线图
2020-12-29 23:43:25
292
原创 Python数据分析之jupyter环境搭建
Python数据分析之jupyter环境搭建1. jupyter简介2. 环境搭建3. 启动jupyter notebook1. jupyter简介Jupyter Notebook是基于网页的用于交互计算的应用程序。其可被应用于全过程计算：开发、文档编写、运行代码和展示结果。编程时具有语法高亮、缩进、tab补全的功能。可直接通过浏览器运行代码，同时在代码块下方展示运行结果。以富媒体格式展示计算结果。富媒体格式包括：HTML，LaTeX，PNG，SVG等。对代码编写说明文档或语句时，支持Mar
2020-12-26 22:19:18
376
原创 Python进阶之MongoDB初探
Python进阶之MongoDB初探1. 什么是MongoDB?1.1 MongoDB简介1.2 MongoDB的特点2. windows下安装MongoDB2.1 下载2.2 安装windows版安装方法:zip版安装方法：windows环境变量配置2.3 测试打开服务打开client3. 注意事项1. 什么是MongoDB?1.1 MongoDB简介MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB是一个介于关系
2020-09-15 22:25:29
172
原创 Python进阶之Scrapy-redis分布式爬虫抓取当当图书
Python进阶之Scrapy-redis分布式爬虫抓取当当图书1. 准备工作1.1 安装scrapy-redis1.2 在windows安装redis程序1.3 打开redis服务2. 需求分析2.1 需求一： **实现当当图书列表内容和图书内容的抓取**2.3 需求二： **实现从普通爬虫修改为分布式爬虫**3. 代码示例3.1 创建项目3.2 dangdang.py3.3 items.py3.4 settings.py3.5 start.py4. 注意事项4.1 普通爬虫改写为分布式爬虫的步骤4.2
2020-09-14 21:03:26
319
原创 Python进阶之Scrapy抓取苏宁图书数据
Python进阶之Scrapy抓取苏宁图书数据1. 需求2. 代码示例:创建项目start.pysettings.pyiterms.pysnb.pypipelines.py3. 注意事项1. 需求1.抓取苏宁图书数据2.把数据存在txt文件中2. 代码示例:创建项目scrapy startproject snbookcd snbookscrapy genspider snb suning.comstart.pyfrom scrapy import cmdline# cmdli
2020-09-08 00:58:34
189
原创 Python进阶之Scrapy利用ImagesPipeline抓取汽车之家宝马5系缩略图
Python进阶之Scrapy利用ImagesPipeline抓取汽车之家宝马5系缩略图1. 创建项目2. 使用ImagesPipeline爬取数据items.pysetings.pyauto.pystart.py3. 总结1. 创建项目scrapy startproject AutoHomecd AutoHomescrapy genspider auto autohome.com.cn2. 使用ImagesPipeline爬取数据可以在pipelines里边使用：from scrapy
2020-09-04 23:34:59
246
原创 Python进阶之Scrapy通过下载中间件携带随机U-A(DOWNLOADER_MIDDLEWARES,random.choice(),request.headers[])
Python进阶之Scrapy通过下载中间件携带随机U-AScrapy随机U-A项目ua.pymiddlewares.pysettings.pystart.py注意事项:需求:Scrapy访问网页时采用随机U-A测试页面: http://httpbin.org/user-agent通过DOWNLOADER_MIDDLEWARES实现Scrapy随机U-A项目scrapy startproject MVcd MVscrapy genspider ua httpbin.orgua.py
2020-09-04 20:12:00
183
原创 Python进阶之使用Scrapy实现自动登录Github的两种方法(POST,FormRequest,from_response)
Python进阶之使用Scrapy实现自动登录Github的两种方法1.通过.FormRequest()实现登录githubgithub1.py# 2.通过.FormRequest.from_response()实现登录githubgithub2.pyps.py需要注意的几点:1.通过.FormRequest()实现登录github需求: 通过提交表单自动登录github需求分析:1.目标登录页面: https://github.com/login2.表单提交页面: https://gi
2020-09-04 01:47:22
406
原创 Python进阶之CrawlSpider的应用及Scrapy配置项的引用
1. CrawlSpider的应用CrawlSpider可以根据规则自动分析链接的数据并按照正则的要求取出需要的数据scrajpy startproject ygcd yg注意-t crawl参数scrapy genspider -t crawl 爬虫名称 域名csun.py需求:爬取阳光问政的详情页内容LinkExtractor 链接提取器callback 回调函数follow 继续提取下一页的urlallow里边写的是正则表达式import scrapy
2020-09-02 19:25:20
321
8
原创 Python进阶之Scrapy抓取阳光政务平台
Python进阶之Scrapy抓取阳光政务平台1. 目标2. 页面分析3. 示例代码创建项目start.pyitems.pysettings.pypipelines.pysun.py注意事项1. 目标爬取http://wz.sun0769.com/political/index/politicsNewest网站标题及详情内容2. 页面分析1.列表页网址http://wz.sun0769.com/political/index/politicsNewest?id=1&p
2020-08-31 21:40:06
442
原创 Python进阶之Scrapy抓取腾讯招聘数据
Python进阶之Scrapy抓取腾讯招聘数据1. 创建Scrapy项目2. 分析页面1.**寻找初始url**2.**确定初始url**3.**寻找详情页url**4.**确定详情页url**3.示例程序1. hr.py2. settings.py3. items.py4. pipelines.py5. start.py需求:通过Scrapy实现抓取腾讯招聘详情页数据1. 创建Scrapy项目scrapy startproject qqSpidercd qqSpiderscrapy gen
2020-08-27 20:03:29
392
原创 Python进阶之Scrapy框架入门
Python进阶之scrapy框架1. Scrapy入门1.1 什么是Scrapy1.2 Scrapy架构1.3 安装Scrapy2. Scrapy项目初探2.1 创建一个Scrapy项目2.2 运行爬虫1. Scrapy入门1.1 什么是ScrapyScrapy是一个适用爬取网站数据、提取结构性数据的应用程序框架，它可以应用在广泛领域：Scrapy 常应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。通常我们可以很简单的通过 Scrapy 框架实现一个爬虫，抓取指定网站的内容或图片。S
2020-08-25 17:13:10
298
原创 Python零基础之多线程爬取王者荣耀官方网站高清壁纸(threading、queue)
Python零基础之多线程爬取王者荣耀官方网站高清壁纸1. 目标2. 代码示例3. 注意4. 引用1. 目标通过多线程和队列的方式快速抓取王者荣耀高清壁纸程序架构以生产者-消费者模式进行设计,数据缓存在两个队列中将壁纸文件按照英雄名称为目录的方式保存实现对下载失败的文件重新下载2. 代码示例# !/usr/bin/python# Filename: 多线程方式实现王者荣耀壁纸图片抓取.py# Data : 2020/08/21# Author : --king--# ctr
2020-08-21 17:15:48
436
原创 Python零基础之爬取王者荣耀官方网站高清壁纸(普通版)
Python零基础之爬取王者荣耀官方网站高清壁纸目标:分析过程:1. 确定目标url2. 解决url解析问题3. 图片下载解析4. 多页面的处理代码示例需要注意的问题：目标:1.下载王者荣耀网站游戏壁纸的高清壁纸2.把同一个名称的壁纸放到同一个文件夹分析过程:1. 确定目标url访问https://pvp.qq.com/web201605/wallpaper.shtml发现图片地址并不在网页html源码中,检查浏览器,分析network。发现目标url有可能是：https://
2020-08-16 19:38:09
1911
原创 Python零基础之生产者和消费者线程交互
Python零基础之生产者和消费者线程交互1. 功能需求2. Lock版生产者和消费者3. Condition版生产者和消费者1. 功能需求由生产者进行生产由消费者进行消费消费者消费金额不能大于余额生产10次以后不再生产当余额小于消费金额且生产次数达到10次后,就不再消费2. Lock版生产者和消费者# !/usr/bin/python# Filename: Lock版的生产者和消费者.py# Data : 2020/08/15# Author : --king--# c
2020-08-15 18:54:53
119
原创 Python零基础之多线程（threading、enumerate、Lock、RLock、Queue、Condtion）
Python零基础之多线程1. 为什么要使用多线程2. python如何实现多线程2.1 python的多线程模块2.2 主线程和子线程的执行关系2.3 查看线程数量.enumerate()2.4 验证进程的创建和运行1. 为什么要使用多线程多线程类似于同时执行多个不同程序，多线程运行有如下优点：使用线程可以把占据长时间的程序中的任务放到后台去处理。用户界面可以更加吸引人，比如用户点击了一个按钮去触发某些事件的处理，可以弹出一个进度条来显示处理的进度。程序的运行速度可能加快。在一些等待的任务
2020-08-15 00:06:03
307
原创 Python零基础之Tesseract图像识别
Python零基础之Tesseract图像识别1. 什么是Tesseract2. 下载和安装3.1. 什么是Tesseracttesseract: “立方体的四维模拟；四次元立方体；超正方体”。tesseract ocr: 图像识别类库 ; 光学字符识别OCR，即Optical Character Recognition，光学字符识别，是指通过扫描字符，然后通过其形状将其翻译成电子文本的过程。对于图形验证码来说，它们都是一些不规则的字符，这些字符确实是由字符稍加扭曲变换得到的内容。2.
2020-08-11 20:22:59
852
原创 Python零基础之selenium进阶(多窗口和页面等待)
Python零基础之selenium进阶 - 多窗口和页面等待1. selenium中的页面等待2. selenium多窗口1. selenium中的页面等待主要分为三种：固定等待，隐式等待，显式等待固定等待：通过time.sleep()实现，等待一段时间，这个时间可以是固定值也可以配合random模块调整为随机值隐式等待：通过.implicitly()实现，有等待条件，一般为有匹配对象就立刻结束等待时间，运行效率较高，但存在被反爬的风险显式等待：通过WebDriverWait()实现，与隐式
2020-08-10 17:48:51
620
原创 Python零基础之selenium进阶:自动登录qq空间
Python零基础之selenium进阶:自动登录qq空间目标注意事项目标通过selenium自动登录qq空间获取cookie并保存成文件通过requets加载headers实现自动登录qq空间# !/usr/bin/python# Filename: selenium登录qq空间.py# Data : 2020/08/07# Author : --king--# ctrl+alt+L自动加空格格式化from selenium import webdriverimpor
2020-08-08 00:01:10
229
原创 Python零基础之selenium
Python零基础之selenium1. selenium1.1 什么是selenium1.2 selenium的功能1.3 selenium的优势2. 初探selenium2.1 selenium的一些方法2.2 selenium如何与浏览器互动2.3 操作下拉菜单2.4 行为链Action Chains3. 使用selenium自动登录豆瓣3.1 代码示例3.2 注意事项1. selenium1.1 什么是seleniumselenium 英[səˈliːniəm] 美[səˈliːniəm]
2020-08-07 04:01:32
373
原创 python零基础之js2py(java script to python)
js2py1. 什么是js2py2. js2py初探2.1 在python中执行js代码2.2 把js代码翻译成python代码2.3 在js代码中使用函数1. 什么是js2py将JavaScript转换为Python代码。Js2Py能够翻译和执行几乎任何JavaScript代码。Js2Py是用纯python编写的，没有任何依赖关系。基本上是纯python中JavaScript核心的实现。项目地址: js2py模块安装: pip install js2py2. js2py初探2.1 在pyt
2020-08-03 14:14:30
3153
原创 Python零基础之bs4抓取全国天气
Python零基础之bs4抓取全国天气目标需要注意的地方目标使用bs4抓取全国天气使用面向对象的写法# !/usr/bin/python# Filename: 用bs4实现抓取全国天气预报.py# Data : 2020/07/29# Author : --king--# ctrl+alt+L自动加空格格式化from bs4 import BeautifulSoupimport requestsimport csv# 获取网页源代码def page_html
2020-07-29 18:32:54
233
原创 Python零基础之BeautifulSoup4
BeautifulSoup41. 什么是BeautifulSoup42. BS4入门2.1 功能示例2.2 数据类型3. 遍历节点3.1 遍历子节点：.contents .children .descendants3.2 获取字符串内容：.string .strings .stripped strings3.3 遍历父节点：.parent .parents3.4 遍历兄弟节点：_sibling _siblings4. 搜索树：find, find_all和过滤器4.1 find, find_all4.2 过
2020-07-28 19:30:09
267
原创 Python零基础之xpath实现爬取豆瓣TOP250(lxml,，etree，xpath，csv)
lxml和xpath1. xpath语法1.1 什么是xpath1.2 xpath语法1.3 xpath运算符2. xpath如何使用？2.1 lxml库2.2 etree用法3. 如何写入csv文件4. 抓取豆瓣TOP2501. xpath语法1.1 什么是xpathXPath（XML Path Language）是一种XML的查询语言: 他能在XML树状结构中寻找节点。XPath 用于在 XML 文档中通过元素和属性进行导航xml是一种标记语法的文本格式: xpath可以方便的定位xml中的元
2020-07-27 02:01:47
260
原创 Python零基础之爬取瀑布页百度图片（正则表达式，爬虫，反爬，延时，异常处理）
通过正则表达式爬取瀑布页百度图片思路:需要注意的地方：思路:根据输入的关键字，获取想要爬取的百度图片页的url地址为了方便抓取，把瀑布页的展示模式改为翻页式寻找翻页url的规律，获取需要抓取的url地址分析url和html源码，通过正则表达式获取原始图片的url地址通过正则表达式处理将来需要保存的图片名称获取图片数据，并保存为指定名称# !/usr/bin/python# Filename: 通过正则表达式爬取瀑布页百度图片.py# Data : 2020/07/23# Au
2020-07-23 17:36:54
436
原创 Python零基础之自动登录12306
Python零基础之自动登录12306文章目录Python零基础之自动登录12306需要注意的问题直接上代码分析过程在代码注释中已经写的较为清楚# !/usr/bin/python# Filename: 登录12306.py# Data : 2020/07/21# Author : --king--# ctrl+alt+L自动加空格格式化# 验证码url分析# 首先开12306,点击登录,在登录界面看到扫码和账号登录# 通过输入错误的验证码和输入争取的验证码,抓包发现,
2020-07-23 01:19:54
242
原创 Python零基础之re正则表达式
1. re中的一些函数match和search是只返回第一个匹配的结果或者返回NONEfindall返回所有匹配的结果# !/usr/bin/python# Filename: test.py# Data : 2020/07/16# Author : --king--# ctrl+alt+L自动加空格格式化import re# 以下是re中match,search,findall的定义# 1. match# 从字符串开始部分进行匹配,如果匹配成功,返回一个匹配结果,
2020-07-20 20:39:17
173
1
原创 Python零基础之通过post请求实现有道翻译小程序(urllib,request,post,parse,json)
# !/usr/bin/python# Filename: 有道翻译实现post请求.py# Data : 2020/07/16# Author : --king--# ctrl+alt+L自动加空格格式化import urllib.requestimport urllib.parseimport json# 目标:通过post实现有道翻译的小功能# 获取想翻译的文字key = input('请输入您想要翻译的文字:')# 构造POST内容data = {
2020-07-16 23:37:31
331
原创 Python零基础之用三种方式爬取百度贴吧(urllib,request,parse)
一: 入门写法# !/usr/bin/python# Filename: 实战 爬取百度贴吧.py# Data : 2020/07/14# Author : --king--# ctrl+alt+L自动加空格格式化import urllib.request, urllib.parseimport random# 随机获取一个user-agent# 百度上很多U-A大全header_list = [{ 'User-Agent': 'Moz
2020-07-16 19:58:28
335
原创 Python零基础之urllib
1. urllib.request模块通过urllib获取百度首页源码import urllib.request# 通过urlopen打开网址,返回值为http.client.HTTPResponse object对象# res = urllib.request.urlopen('https://www.baidu.com')# print(res)## # 如果有反爬,则会返回错误数据# print(res.read())# # 返回值为字节# print(type(re
2020-07-11 22:21:09
149
原创 Python零基础之爬虫介绍
爬虫介绍1.什么是爬虫?2.为什么需要爬虫?3. 企业获取数据的方式有哪些？4. Python做爬虫的优势5. 爬虫的分类6. 几个概念7. 抓包工具1.什么是爬虫?- 让计算机去模拟人进行网页浏览操作2.为什么需要爬虫?- 为其他数据提供数据源、数据分析、AI/人工智能等- 人脸识别、无人驾驶、智能家居、智能语音、无人机等3. 企业获取数据的方式有哪些？- 公司自有数据- 第三方平台的数据（免费和付费） - 免费：如百度指数 - 收费：如贵阳大数据交易所，数据堂等- 爬虫工程师
2020-07-11 21:27:16
149
原创 网络安全之区块链技术
区块链技术1. 什么是区块链1.1 定义1.2 分类1.3 区块链的特点2. 区块链相关概念和技术2.1 相关概念2.2 相关技术3. 节点网络和交易过程3.1 节点网络3.2 交易过程（以比特币为例）4. 区块链的应用5. 区块链存在的一些问题1. 什么是区块链1.1 定义区块链是一个分布式账本，一种通过去中心化、去信任的方式集体维护一个可靠数据库的技术方案。区块链是一个很难被随意更改的分布式数据库，所有系统参与者共同完成这个数据库的记录，存储和维护工作。区块链是多种技术的整合，是一种新的数据
2020-07-10 22:00:19
560
原创 Python零基础之爬虫基础知识（协议和网络模型）
爬虫基础爬虫基础1. 通讯协议2. 网络模型2.1 OSI七层模型2.2 TCP/IP模型3. http、https和相关协议3.1 http3.2 https3.3 SSL3.4 TLS爬虫基础1. 通讯协议开放系统互联协议中最早的协议之一，它为连接不同操作系统和不同硬件体系结构的互联网络提供通信支持，是一种网络通用语言。TCP/IP协议定义了在互联网络中如何传递、管理信息（文件传送、收发电子邮件、远程登录等），并制定了在出错时必须遵循的规则。实现不同目标的相互通信的过程通讯协议就是通信方都必
2020-07-09 22:18:03
383
原创 网络安全之密码学与加密技术
密码技术一、密码学1.1 加密技术一、密码学密码学（在西欧语文中之源于希腊语kryptós，“隐藏的”，和gráphein，“书写”）是研究如何隐密地传递信息的学科。在现代特别指对信息以及其传输的数学性研究，常被认为是数学和计算机科学的分支，和信息论也密切相关。密码学包含了三个要素：明文，密钥和密文信息加密和解密的主要的实现方式是对数据本身的加密和解密，以及对**传输途径（信道）**的加密和解密密码学衍生出的两个重要学科：密码编码学和密码分析学，分别研究数据的加密和解密1.1 加密技术分
2020-07-05 17:20:32
4677
1
原创 Python爬虫实现模拟自动刷新51job简历
# !/usr/bin/python# Filename: 实战 自动刷新简历.py# Data : 2020/07/01# Author : --king--# ctrl+alt+L自动加空格格式化# 反爬策略# 1.伪装U-A# 2.使用代理ip# 3.图片识别验证码# 4.抓包分析突破异步加载-ajax# 5.降低访问频率# 6.添加cookiesfrom selenium import webdriverimport time# from 用户名密码.py
2020-07-01 21:32:51
454
转载 学习笔记（12):150讲轻松搞定Python网络爬虫-CSV处理-写入CSV文件的两种方式
【为什么学爬虫？】 1、爬虫入手容易，但是深入较难，如何写出高效率的爬虫，如何写出灵活性高可扩展的爬虫都是一项技术活。另外在爬虫过程中，经常容易遇到被反爬虫，比如字体反爬、IP识别、验证码等，如何层层攻克难点拿到想要的数据，这门课程，你都能学到！ 2、如果是...
2020-06-24 18:42:22
496
使用正则表达式爬取赶集网.py
2020-06-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人