python3
文章平均质量分 78
走遍星空的CG
pythoner 小白
展开
-
Youtube 评论数
youtube评论数单独走评论接口,无法从静态页面中直接获取。使用selenium获取非常耗时好资源。1. 经过分析评论数中请求中的许多参数都在youtube的静态页面中,只需要将其匹配出来就可以了。具体匹配如下: def get_comment(self, data_page): ''' 请求参数: # itemSectionRenderer : ctoken / continuation # XSRF_TOKEN : ses原创 2020-10-13 15:16:54 · 982 阅读 · 0 评论 -
Python3 实现程序运行状态的监听
# -*- coding:utf-8 -*-import threadingimport psutilimport osimport time'''通过 threading.Thread.is_active 判断线程是否退出。此方法可以用来对程序进行监听,当程序出现异常退出,重启程序。'''class MyThread(threading.Thread): def __init__(self, threadID, name, func, param=None): .原创 2020-09-01 13:48:17 · 1873 阅读 · 0 评论 -
使用 scrollTop 判断是否下滑到底 出错原因(scrollTop 获取到的数据是小数)
近日有一个寻求需要判断是否已经下滑到底代码如下:is_next_flag = 1;var inner_scroll= document.getElementsByClassName("ReactVirtualized__Grid _1zmk")[0];var ele = document.getElementsByClassName("ReactVirtualized__Grid _...原创 2020-02-27 14:14:48 · 3118 阅读 · 2 评论 -
selenium 去掉 webdriver 属性方法
针对selenium的webdriver 属性, 去除webdriver属性如下:self.driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", { "source": """ Object.definePrope...原创 2020-02-26 10:02:39 · 1998 阅读 · 4 评论 -
pip升级以后 pip3怎么都使用不了
解决办法: 重新安装pip3 sudo python3 -m pip uninstall pip && sudo apt install python3-pip --reinstall原创 2018-11-22 20:27:17 · 3355 阅读 · 1 评论 -
爬虫学习笔记day06
Day05回顾1、json模块 1、json.loads() json格式(对象、数组) -> Python格式(字典、列表) 2、json.dumps() Python格式(字典、列表、元组) -> json格式(对象、数组)2、Ajax动态加载 1、F12 -> Query String Data 2、params={QueryString...原创 2019-05-19 16:28:11 · 328 阅读 · 0 评论 -
爬虫学习笔记day08
3.scrapy模块方法 yield scrapy.Request(url,callback=解析方法名)==================================================Day08笔记1.如何同时开启多个项目管道文件 在piplines.py中所有管道classzhong ,设置函数 porcess_item(self,item.spide...原创 2019-05-19 16:32:59 · 266 阅读 · 0 评论 -
头条网站selenium 无法模拟下滑
经过上次对与头条进行分析过后,发现_signature的规律不唯一,此研究的目的是为了找到问题的根本。现将分析步骤总结如下:当使用webdriver 执行js脚本,模拟下滑操作时, “$_cdc....”in document 为True 经过几次运算后使用 k[5] = 4 正常应该为0 _signature[22]开始生成前会进行以下运算 首先会将k[5]取出,然后进...原创 2019-08-12 10:23:36 · 689 阅读 · 0 评论 -
对于页面加载完成状态的检测的理解
问题:在进行源码下载任务时经常遇到页面由于异步加载,导致页面加载不完全的问题 方法总结: 1: ReadyState属性,一般情况下当ReadyState变成READYSTATE_COMPLETE 时 webbrowser控件会触发Document时间来指示页面加载完毕。但是当网页包含多个frame时,会多次触发这个事件。 注:不是每个f...原创 2019-08-12 11:47:38 · 628 阅读 · 0 评论 -
chromedriver(selenium)以手机模拟器方式打开wap页面
直接指定UserAgent 错误!# self.options.add_argument('user-agent="Mozilla/5.0 (Linux; U; Android 8.1.0; zh-cn; BLA-AL00 Build/HUAWEIBLA-AL00) 正确方式:mobile_emulation = {"deviceMetrics": {"width": 360...转载 2019-09-23 11:51:13 · 1763 阅读 · 0 评论 -
pymysql.err.OperationalError: (2003, "Can't connect to MySQL server on 'localhost' ([Errno 111] Conn
在Flask 使用pymsql时会出现 No moudle MySQLdb 可以使用 以下方法import pymysqlpymysql.install_as_MySQLdb() 后来我遇到了这样的错误, pymysql.err.OperationalError: (2003, "Can't connect to MySQL server on 'localhost' ([E...原创 2018-11-05 10:19:27 · 23296 阅读 · 0 评论 -
python3基础20
day20##########################################################day19回顾面向对象:封装:隐藏实现细节,供用户使用的实例方法叫做接口 私有属性/私有方法(以双下划线)继承:单继承/多继承多态:python只有动态多继承:一个类有两个或两个以上的父类 MRO 当实例方法冲突时的执行顺序 ...原创 2018-11-02 20:27:02 · 252 阅读 · 0 评论 -
python3基础12
day12装饰器 decorator(专业提高篇)什么是装饰器: 装饰器是一个函数,主要作用是用来包装一个函数或类 包装的目的是在不改变原函数(或类名)的情况下改变被包装对象的行为 (不改变原有函数的基础上改变其功能)函数装饰器 是指装饰器是一个函数,传入的是一个函数,返回的是一个函数 语法: def 装饰器函数(参数): 语句块 ...原创 2018-11-01 15:39:23 · 406 阅读 · 0 评论 -
python3基础11
day11函数式编程 是指用一系列函数解决问题 示例: 求1 + 2 + 3 + ....+ 100的和 方法一 s = 0 for x in range(1,101): s += x print(s) 方法二 print(sum(range(1,101)))函数的可重入性: 当一个函数输入一定,则输出必然一定的函数称为...原创 2018-11-01 15:40:28 · 1261 阅读 · 0 评论 -
flask 登陆注册
from flask import Flask, request, redirect, make_response, render_template, sessionfrom flask_sqlalchemy import SQLAlchemyimport pymysqlpymysql.install_as_MySQLdb()app = Flask(__name__)app.conf...原创 2018-11-06 10:16:18 · 489 阅读 · 0 评论 -
python3基础14
day14异常 exception什么是错误: 错误是指由于逻辑或语法等导致一个程序无法正常运行什么是异常: 异常是指程序出错时标识的一种状态 当异常发生时,程序不会再向下执行,而转去调用此函数的地方待处理此错误并恢复为正常状态 作用: 用作信号,通知上层调用者有错误产生需要处理异常处理语句:try语句的两种用法: try -except 语句 ...原创 2018-11-02 20:21:26 · 233 阅读 · 0 评论 -
python3基础15
day15迭代器和生成器迭代器 Iterator什么是迭代器 迭代器是访问迭代对象的工具 迭代器是指用iter(obj)函数返回的对象(实例) 迭代器可以用next(it)函数获取一个可迭代对象的数据迭代器函数 iter和nextiter(iterable) 从可迭代对象中返回一个迭代器,iterable必须是能提供一个迭代器的函数next(iterator...原创 2018-11-02 20:22:39 · 307 阅读 · 0 评论 -
python3基础16
day16文件 File 什么是文件 文件是用于数据存储的单位 文件通常用来长期存储数据 文件中的数据是以字节(byte)为单位进行存储的文件的操作流程: 1.打开文件 2.读/写文件 3.关闭文件 注:任何操作系统,一个应用程序同时打开文件的数量有最大数限制文件的打开函数: open(file, mode='rt') 用于打开一个文件,返回此文件对应的...原创 2018-11-02 20:23:26 · 309 阅读 · 0 评论 -
python3基础17
day17面向对象编程 Object-Oriented Programming面向对象三大特征:(***)封装,继承,多态什么是对象: 对象是指现实世界中的物体或实体什么是面向对象: 把一切看成(对象(实例)),用各种对象之间的关系来描述事务对象的特征:1.对象有很多属性(名词或形容词) 年龄,姓名,性别...2.对象又很多行为(动作,动词) 学习,吃饭,...原创 2018-11-02 20:24:58 · 203 阅读 · 0 评论 -
python3基础18
day18类变量 类变量是类的属性,此属性属于类,不属于类的实例 作用: 通常用来存储该类创建对象的共有属性 说明: 类变量可以通过该类直接访问 类变量,可以通过类的实例直接访问,无法改变 类变量可以通过此类的对象的__class__属性间接访问 示例见: class_variable.py class_variable2.py#此实例示意变量...原创 2018-11-02 20:25:50 · 245 阅读 · 0 评论 -
python3基础19
day19类的函数 issubclass(子类, 父类) 判断一个类是否继承自其他的类封装 (以__开头的属性为私有属性)多态(只有动态没有静态)面向对象的三大特征多继承多继承的问题(标识符冲突)多继承的 MRO(Method Resolution Order)问题(__mro__用来记录类的方法查找顺序)函数重写 overwrite对象转字符串函数 1.repr(x) 2...原创 2018-11-02 20:26:32 · 338 阅读 · 0 评论 -
python3基础09
day09pyhthon函数的参数传递 传递方式: 位置传参 序列传参 关键字传参 字典关键字传参位置传参: 实际参数(实参)的对应关系与形式参数(形参)的对应关系 是接位置来依次对应的 示例: def mymin(a,b,c): pass mymin(1,2,3) #1,2,3位置对应关系传给a,b,c 说明: 实际参...原创 2018-11-01 15:39:03 · 270 阅读 · 0 评论