
Python基础应用
一些小知识和我写的实用小程序多数为爬虫
Y4tacker
关于我:Web安全、Java安全研究弟中弟
学校:四川大学(2019级)
写给自己:宁静致远,淡泊明志
展开
-
Python爬虫模块requests的常用函数方法总结
文章目录前言基本用法总述request方法get方法post方法put/patch/delete方法(不常用)高级操作会话保持异常处理(记住就行)证书验证解析cookies请求报文中部分参数解析常见字段1常见字段2常见字段3常见字段4常见字段5常见字段6常见字段7前言requests 库其实是基于 urllib 编写的,对 urllib 进行了封装,使得使用时候的体验好了很多,现在 urllib 已经出到了3版本,功能和性能自然是提升了不少。所以,requests最新版本也是基于最新的 urllib3原创 2020-07-08 10:46:57 · 14658 阅读 · 0 评论 -
不会深度学习的你如何实现验证码的高质量识别
前言:在很多爬虫的自动化项目中,我们难免会遇到一些需要处理验证码的问题,其中一种解决方案就是通过手动输入,但这样效率却很慢,有没有什么方法能帮助我们自动识别呢?当然又,那就是打码平台,这里我推荐打码狗平台,识别率很高,并且便宜,但是还是希望大家也包括我后来能通过深度学习的方式,建立起自己的一套识别体系,废话不多说,那么久开始吧!!!文章目录不想看分部分介绍直接拉到最下面修改配置即可食用简单介绍打码狗平台(没有广告钱)Python代码实现初始化获取打码平台UserKey获取验证码识别验证码全部代码不想看原创 2020-06-26 23:35:30 · 11434 阅读 · 3 评论 -
Python-正则表达式(读书笔记)
前言:《Python核心编程》读书笔记,我可太爱这本书了文章目录什么是正则表达式元字符特殊字符使用圆括号指定分组(重点)扩展表示法看起来暂时不太清楚的语句截图方便复习Python的re使用 match()方法匹配字符串使用 search()在一个字符串中查找模式(搜索与匹配的对比)group()与groups()匹配字符串的起始和结尾以及单词边界什么是正则表达式我看来最大的作用就是,爬虫或者过滤非法字符正则表达式为高级的文本模式匹配、抽取、与/或文本形式的搜索和替换功能提供了基础。简单地说,正则表原创 2020-06-26 00:52:54 · 15960 阅读 · 13 评论 -
Python-dict的常用方法
文章目录常用方法浅拷贝copy深拷贝list转换dictitemsclearupdatesetdefault常用方法浅拷贝copya = {"ilpy1": {"company": "aaa"}, "ilpy2": {"company": "bbb"} }new_dict = a.copy()new_dict["ilpy1"]["company"] = "wtf"print(new_dict)print(a)print(id(a))print(id(new_dict))原创 2020-06-21 11:18:01 · 13371 阅读 · 0 评论 -
Python中-Slice总结笔记
#模式[start:end:step]""" 其中,第一个数字start表示切片开始位置,默认为0; 第二个数字end表示切片截止(但不包含)位置(默认为列表长度); 第三个数字step表示切片的步长(默认为1)。 当start为0时可以省略,当end为列表长度时可以省略, 当step为1时可以省略,并且省略步长时可以同时省略最后一个冒号。 另外,当step为负整数时,表示反向切片,这时start应该比end的值要大才行。"""aList = [3, 4原创 2020-06-20 19:35:32 · 13296 阅读 · 0 评论 -
Python------Django数据库基本操作(基础实用!!!)
前言:这几天在做一个外包项目,期间需要用到这个,正好自己也不会,特地来总结,加油!!!Django的数据库操作建立一个MODEL数据库操作(正题)给数据库中模型增加元素使用save方法使用create方法防止重复创建数据库内容的修改使用update方法使用get方法配合save方法数据库内容的查询get函数(上面提了这里不多讲)all函数 (查询所有)filter函数 (条件查询)exact的...原创 2020-04-08 10:37:26 · 20498 阅读 · 1 评论 -
Pyhon中关于None的判断
以前一直像个傻×一样,使用==判断,总觉得出错了但不知道,为什么,None是一个对象,下面推荐两种做法:①if var is Noen②if not var原创 2020-04-07 07:15:58 · 19066 阅读 · 3 评论 -
基于Python的学生信息管理系统
(跟随Python项目开发案例集锦的一次学习,故记录)import osimport requestsimport reimport json# -------------------------------------全局变量--------------------------------------------------------------------------file...原创 2020-04-02 08:07:16 · 22385 阅读 · 0 评论 -
爬取拉勾网上求职信息,并导入Excel(记录代码贴)
仅仅作为记录贴,无其余其他作用import requestsfrom urllib.parse import quotefrom openpyxl import Workbookfrom openpyxl.styles import Alignmentfrom bs4 import BeautifulSoupimport timeheaders = { 'Accept': ...原创 2020-03-20 19:40:15 · 24146 阅读 · 0 评论 -
爬取了豆瓣TOP250电影中文名、外国名、其他名字以及豆瓣链接
我太懒了,项目在我GitHub上能为我star吗,谢谢!原创 2020-03-18 21:07:41 · 23024 阅读 · 0 评论 -
Beautiful Soup学习笔记(对我自己比较常用)
本文仅为学习笔记,作用仅为方便自己查阅复习使用,具体学习路线参考Beautiful Souo 4.2.0文档文章目录TagnameAttributestag属性的删除tag属性的修改多值属性tag中的字符串注释及特殊字符串Tagtag中两个最重要的属性: name和attributessoup = BeautifulSoup('<b class="121">123<...原创 2020-03-18 15:58:01 · 21079 阅读 · 0 评论 -
从12306上面爬取图片(最新方法2020年3月)
网址打开是base64编码所以需要一点小操作hhh很简单看看完事import requestsimport reimport base64from urllib.parse import quote__author__ = '豪哥哥'headers = { 'Host': 'kyfw.12306.cn', 'User-Agent': 'Mozilla/5.0 (Wi...原创 2020-03-12 12:12:08 · 22541 阅读 · 1 评论 -
我的Pthon深度学习笔记(数组与简单的绘图)
文章目录数组numpy简单的绘图sin&cos数组numpy值得一提的是广播功能还挺有意思import numpy as np# 一维数组x = np.array([1.0, 2.0, 3.0])print(x.shape) # shape 查看形状print(x.dtype) # dtype查看数据类型print(x / 2)# 二维数组A = np.arra...原创 2020-03-10 07:40:51 · 21161 阅读 · 0 评论 -
Python中get、post请求详解(HTTP请求头、状态码)
文章目录GET1)导入模块2)发送请求3)响应请求POSTHTTP请求头HTTP响应状态码会话保持我们知道通常浏览器支持get与post两种常见的请求方式,那么在python当中如何具体实现呢?GET首先是get,我们知道get指令比较简单,通常便是在浏览器窗口地址栏中使用?xx=xxxxx那么在python当中如何实现这个过程呢?首先我们需要了解requests模块1)导入模块im...原创 2020-03-09 20:25:18 · 29322 阅读 · 1 评论 -
我的爬虫学习之路------urllib(urllib2整合到了urllib)
urllib2在python3后已经合并在urllib中了,具体为urllib.response,urllib.requesturllib2.URLError 改为了urllib.error.URLError文章目录URLError与HTTPError下载网页(requests库也可以)URLError与HTTPError关于这一点我看了另一个博主的,直接上他的URL吧,点击传送阿谋...原创 2020-03-07 17:45:43 · 22344 阅读 · 0 评论 -
我的爬虫之路 ---- GET请求与POST请求
1、GET请求HTTP默认的请求方法就是GET* 没有请求体* 数据必须在1K之内!* GET请求数据会暴露在浏览器的地址栏中GET请求常用的操作:1. 在浏览器的地址栏中直接给出URL,那么就一定是GET请求2. 点击页面上的超链接也一定是GET请求3. 提交表单时,表单默认使用GET请求,但可以设置为POST2、POST请求(1)数据不会出现在地址栏中(2)数据的大...原创 2020-02-08 21:28:10 · 29689 阅读 · 1 评论 -
Python报“TypeError: a bytes-like object is required, not ‘str’ ”解决办法
解决办法:解决办法非常的简单,只需要用上python的bytes和str两种类型转换的函数encode()、decode()即可!str通过encode()方法可以编码为指定的bytes;反过来,如果我们从网络或磁盘上读取了字节流,那么读到的数据就是bytes。要把bytes变为str,就需要用decode()方法;因此:我只需要把上图中的代码改成下面的即可!import os,sys...转载 2020-02-06 12:12:47 · 29772 阅读 · 1 评论 -
Python3利用迭代实现按行读取文件并转换为对应类型
file = open('1.txt', 'r')list1 =[]for line in file: list1.append(line)list1 = list(map(int,list1))print(list1[0])原创 2020-02-06 11:25:01 · 28155 阅读 · 1 评论 -
Python发QQ邮件(来自菜鸟教程)
????:口令是去邮件设置的SMTP服务器获取授权码import smtplibfrom email.mime.text import MIMETextfrom email.header import Header# 第三方 SMTP 服务mail_host = "smtp.qq.com" # 设置服务器mail_user = "1078433422@qq.com" # 用户名mai...原创 2020-02-05 16:46:04 · 28237 阅读 · 1 评论 -
Python实现自动填写网安早上登记信息
放在这里以后还可以参考!!!from selenium import webdriverimport timeimport scheduledef auto_click(): var1 = 0 file = open('1.txt', 'r') list1 = [] for num in file: list1.append(num) ...原创 2020-02-05 16:23:46 · 28001 阅读 · 1 评论 -
Python3中利用map将列表当中的string类型转换为int类型或其它类型
看下面的代码list1 = ['11','22']list1 = map(int, list1)print(type(list1[0]))编译后会报错TypeError: 'map' object is not subscriptable,在百度了后才知道,上面代码在python2当中才是正确的,在py3中,它返回的是迭代器,不是我们直接想要的list。所以正确的做法如下:list1...原创 2020-02-05 15:03:06 · 30366 阅读 · 1 评论 -
我与你的Python之路(第四天)
写本博客目的只为记录学习状态!!!文章目录字符串f-stringwhile-else语句迭代器与生成器迭代器生成器字符串f-string关于格式字符串在之前我们习惯取用%name = 'wo'var2 = 'wo ai %s' % nameprint(var2)在3.6版本之后又新加入了f-stringname = 'tsq'var = f'wo ai {name}'prin...原创 2020-02-05 10:48:15 · 27322 阅读 · 1 评论 -
我与你的Python学习之路(第三天)
文章目录Python模块的导入模块的导入指定别名为模块指定为成员指定不同变量之间的连接方式字符串与字符串之间的连接方式(5种)Python模块的导入模块的导入有以下几种方式(以math为例)import mathfrom math import cos,sin #当想要导入某几种特定的功能时而我们知道如果使用第一种方式,每次在使用时,都需要以math.xxx的形式,这样会显得比较麻烦...原创 2020-02-04 19:57:19 · 27559 阅读 · 1 评论 -
我与你的Python之路(第二天) ---- 函数、模块、错误与异常处理、文件读写
文章目录函数函数的定义return的使用作为其它函数的参数(引用字SoloLearn)模块错误与异常处理常见的错误异常处理文件读写函数函数的定义Python 定义函数使用 def 关键字,一般格式如下:def 函数名(参数列表):函数体def print_sum(x, y): print(x + y)print_sum(5, 8)return的使用我们也可以使用re...原创 2020-02-04 12:20:01 · 27400 阅读 · 1 评论 -
我与你的Python之路(第二天)----布尔类型、if语句、运算符优先级、while循环、列表、Range、for
文章目录布尔类型布尔逻辑if语句相关if语句if-else语句elif的使用(以下引用自菜鸟教程)运算符优先级(图片引用自SoloLearn)while循环列表Rangefor布尔类型Python中有一种类型叫做布尔类型,它有两个布尔值:True和False,运算符==、!=、>、<等等,如果为真则返回True,假则为False;布尔逻辑python中的布尔运算符为 and、...原创 2020-02-04 10:33:02 · 27483 阅读 · 1 评论 -
我与你的Python之路(第一天)----print、算术运算符、字符串、字符串运算符、input、类型转换
第一天学习Python第一个程序hello,worldPython中的操作符第一个程序hello,worldprint('Hello world!')当然print语句也可以用于打印多行输出print('Hello world!')print('Hello world!')print('Spam and eggs...')????:另外在python当中,单引号与双引号是一样的意思,...原创 2020-02-03 09:44:50 · 27490 阅读 · 2 评论