大白的进阶之路-CSDN博客

原创 LINUX 安装PyQt5

在Linux环境下，安装PyQt5和Qt Designer是一种常见的需求，因为它们是在Python中创建图形用户界面(GUI)的强大工具。本文将提供详细的步骤来安装PyQt5和Qt Designer，并附上相应的源代码。安装了PyQt5之后，您可以安装Qt Designer来创建和编辑GUI界面。在Linux上安装PyQt5需要一些先决条件。步骤2：安装Qt Designer。步骤1：安装PyQt5。

2024-04-05 21:35:57 914

原创 2020-09-03

登录验证第一种方法，在后面的路由添加@admin_login_reqdef admin_login_req(f): """ 登录装饰器 """ @wraps(f) def decorated_function(*args, **kwargs): if "admin" not in session: return redirect(url_for("login", next=request.url))

2020-09-03 12:02:47 91

原创 selenium 浏览器检测绕过

from selenium.webdriver import Chromeimport timefrom selenium import webdriveroption = webdriver.ChromeOptions()option.add_experimental_option( 'excludeSwitches', ['enabl...

2020-04-27 14:44:53 1667

原创异步爬取当当网站书籍信息

from bs4 import BeautifulSoupimport asyncio,aiohttpfrom lxml import etreetable = []async def fetch(session, url): async with session.get(url) as response: return await response.text(e...

2019-12-27 14:50:17 245

原创多进程爬取表情包

# -*- coding: utf-8 -*-"""Created on Thu Dec 19 18:59:58 2019@author: m"""import urllib,osimport requestsfrom lxml import etreefrom multiprocessing import Poolheaders = {"User-Agent": "Moz...

2019-12-23 14:21:37 167

原创 lxml.etree._ElementUnicodeResult 转为字符

lxml.etree._ElementUnicodeResult 转为字符在爬虫过程中，使用的是lxml的xpath查找对应的字段。address=each.xpath('.//address/text()')[0].strip()结果用address与一般的字符进行拼接时，总是出现UnicodeDecodeError: 'ascii' codec can't decode by...

2019-12-11 14:21:34 4133

原创出现的几个问题

import pymongofrom pymongo.mongo_client import MongoClientimport timeimport pymysqlimport os,urllibfrom lxml import etreeimport requests#clienm = MongoClient('localhost',27017)#mongoDatabase ...

2019-12-11 14:16:15 215

原创多进程下载美图图片

from multiprocessing import Poolimport osimport urllibfrom lxml import etreeimport requestsimport redef get_list(url): a=[] response = requests.get(url).text html = etree.HTML(respon...

2019-12-06 17:04:28 145

原创关于多进程返回怎样得到返回问题

from lxml import etreeimport requestsimport timefrom multiprocessing import Process,Pipe,Poolheaders ={ "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,...

2019-11-21 22:12:28 273

原创安装splash

安装splash遇到的问题，首先就是安装docker 然后 docker pull spalsh镜像，开启服务 8050 端口 docker run -p 8050:8050 scrapinghub/splash 开启服务docker-machine ip default 在docker端口查看 ip 在浏览器 ip:8050 检查安装...

2019-01-24 22:04:10 643

原创安装mitmproxy

按照催情才书中安装mitmproxy会出很多问题，比如往ios系统中安装ca证书时，书中说可以发邮件给iphone点击附件自动识别安装描述文件，我试了完全识别不了，然后浪费了很多时间去网上找解决方法甚至在微博上找催情才私信问，可惜催情才不理我，最后还是在网上找到解决方法，就是先保证手机和电脑在同一局域网内用内置浏览器访问mitm.it,访问成功后会有第一个是苹果logo的界面，点击安装描述文件，然...

2018-12-24 23:07:30 374

原创 lambda函数和filter函数

近来学爬虫时遇到如下字码段all_urls = filter(lambda x: True if x.startswith("https") else False, all_urls)用到了lambda函数和filter函数，以前学过但写代码很少用到，居然忘了用法，不胜唏嘘，哎，回顾下语法吧！！！lambda函数亦叫匿名函数，lambda x 可以想成 def(x) 后面的代码为...

2018-11-08 23:09:16 2264

原创爬虫编码问题

手写https://tech.china.com/article/20180529/20180529144614.html爬虫时，遇到下载页码乱码问题，经查资料解决，通过requests获取的编码不是GBK，而是ISO-8859-1。将页面编码改为 urf-8,此编码与主题无关，只是网上查到的方法 import requestsurl = 'http://search.51job.c...

2018-10-28 14:04:10 344

原创 Python爬取猫眼电影Ｔop100

import requestsimport re# 抓取猫眼TOP100的数据# 第一步：下载页面#0-100: 0,10,20,...,90#http://maoyan.com/board/4?offset=90def get_one_page(url): ua_header = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win...

2018-07-23 15:12:34 311

原创 Python利用生成器函数或递归生成斐波那契数列 1,1,2,3,5，8,13...

生成器生成数列： def create_fbnq(n): a,b=0,1 i=0 while i<n: yield b a,b=b,a+b i+=1 for x in create_fbnq(20): print(x)递归生成数列： def Fab...

2018-07-12 14:52:38 5872

原创列表和字符串

列表与字符串比较：1.列表和字符串都是序列，元素之间有先后关系2.字符串时不可变得序列，而列表是可变的序列3.字符串中每个元素只能存储字符，而列表可以存储任意类型的元素4.列表和字符串都是可迭代对象字符串文本解析方法 split he join S.split(sep=None) 将字符串使用sep作为分隔符分隔s字符串，返回分割后的字符串列表，当不给顶参数时，用空白字符...

2018-05-05 14:29:02 4139

原创深拷贝和浅拷贝

浅拷贝深拷贝浅拷贝：是指复制过程中，只复制一层变量，不会复制深层变量绑定的对象的复制过程示例 L=[3.1,3.2] L1=[1,2,L] L2=L1.copy() L2=copy.deepcopy(L1) ...

2018-05-05 14:28:08 119

原创函数

函数 function 什么是函数：函数是可重复执行的语句块，开一重复调用。作用： 1，用于封装可重复执行的语句，提高语句的可重用性 2. 定义用户级别的函数函数定义语句 def 语句的语法： def 函数名（参数列表）：语句块（代码块）函数的语法说明： 1. 函数的名字就是语句块的名称 2. 函数名的命名规则...

2018-04-29 17:54:59 95

原创字典

字典 dict 什么是字典：字典是一种可变的容器可以存储任意类型的数据字典中的每个数都是用‘键’进行索引的，而不象序列可以用下标（index）来进行索引字典中的数据么有先后顺序关系。字典的存储时无序的字典中的数据以键（key）- 值（value）对的形式进行映身存储字典的键不能重复，具只能用“不可变类型”作为字典的键字典的字面值得表达方式：字典的表示方式以{ } 括...

2018-04-29 17:52:01 180

原创元组及其方法

元组 tuple 元组是不可改变的序列，同list一样，元组可以存放任意类型的元素表示方法：用小括号（）括起来，单个元素括起来后加逗号（，）区分单个对象还是元组创建空元组的字面值 t=（）创建非空元组的字面值 t=200, t=(20,) t=(1,2,3) t= 100,200,300 t...

2018-04-29 17:51:00 2917

原创列表

列表 list列表的定义：列表是由一一系列元素组成的，元素与元素之间可能没有任何的关联关系，但他们之间有先后顺序关系列表是一张容器，是一种序列可以被改变的序列 Python中的序列：字符串 str 列表 list 元组 tuple 字节数组 bytearray创建空列表的字面值： L=[] # L 绑定空列表创建非空列表的字面值 L=[1,2,3,4] ...

2018-04-29 17:49:07 165

原创 for 语句，range函数 continue语句

for 语句（循环语句）作用：用来遍历可迭代对象的数据元素语法： for变量列表 in 可迭代对象语句块1 else：语句块2 语法说明： 1.可迭代对象每次提供一个元素依次赋值给变量列表中的变量，赋值完毕后执行语句块1，重复执行此步骤 2.当可迭代对象不能够提供数据时，执行else子句部分...

2018-04-29 17:47:29 631

原创 Python的字符串

字符串 str 作用：用来记录文本信息字面值表示方法: 用引号括起来的部分都是字符串 ' 单引号 "双引号 ''' 三单引号 """三双引号字符串的字面表示方式： ‘’ “” ''''""" """非空字符串的字面表示方式 ‘hello’ "hello" '''hello''' 单引号和双引号的

2018-04-29 17:45:09 106

lyhfight的博客