windmillsign-CSDN博客

原创 scrapy+selenium爬取需要登录需要验证码的网站

scrapy+selenium爬取需要登录需要验证码的网站站在巨人的肩膀上采取了大神的思路，加上自己项目的需求点击打开大神文章连接本文只是将结果打印了出来，没有保存过程，后续会继续写文章思路注释上都有，就不墨迹了import jsonimport timeimport urllibimport urllib.requestfrom pathlib import Pathimport scrapyfrom scrapy.http import Request,FormRequest

2021-01-29 18:16:06 1259

原创 scrapy 笔记一完整示例

转载并修改源博主网址：https://www.xncoding.com/2016/03/10/scrapy-02.html创建爬虫项目：scrapy startproject coolscrapy创建名为db的爬虫：scrapy genspider -t basic db douban.com开始爬数据scrapy crawl db爬出报错可能的原因：1、没有关闭机器人协议2、没有加请求头这篇文章我们通过一个比较完整的例子来教你使用Scrapy，我选择爬取虎嗅网首页的新闻列表。

2021-01-26 18:14:43 313

原创界定流失方法论

界定流失方法论一、用户流失曲线一个用户每周的使用次数做成条形图，观察多个用户本方法也可以用来观测生命周期二、用户流失轨迹某一天注册用户在周的维度上持续使用的人数 https://www.pmcaff.com/discuss/1020008035057728三、最后一次活跃据上次活跃的天数横坐标代表用户最后一次活跃距上次活跃的天数，纵坐标代表累计用户占比。 https://zhuanlan.zhihu.com/p/36802250四、观察月内流失某月中以天的维度，观察每天的用

2021-01-21 17:17:29 237

原创 js 99乘法表等等

2020-06-30 20:25:43 786

原创 flaskday05

1.查询：查询所有：模型类.query.all() ~ select * from user;如果有条件的查询：模型类.query.filter_by(字段名 = 值) ～ select * from user where 字段=值；模型类.query.filter_by(字段名 = 值).first() ～ select * from user where 字段=值 limit…；select * from user where age>17 and gender=‘

2020-05-25 19:35:02 175

原创 flaskday04

1.查询：查询所有：模型类.query.all() ~ select * from user;如果有条件的查询：模型类.query.filter_by(字段名 = 值) ～ select * from user where 字段=值；模型类.query.filter_by(字段名 = 值).first() ～ select * from user where 字段=值 limit…；select * from user where age>17 and gender=‘

2020-05-25 19:33:03 134

原创 flaskday03

1.模板网页 ----》模板引擎处理 ----〉模板render_template{{ 变量 }}{% if 条件 %} {%endif%}for,block,macro,with{% extends ‘’ %}{% include ‘’ %}{% import ‘’ %}{% set username = ‘’ %}过滤器：。。。自定义过滤器1。通过方法添加2。装饰器2。蓝图1。flask-scriptpip install flask-script使用里面的Man

2020-05-25 19:32:10 95

原创 flaskday02

回顾：视图：requestrequest.method ----> app.url_maprequest.argsrequest.form…response字符串字典tupleresponse对象make_response()render_template()redirect() —> response 重定向render_template(‘模板名字’,**context)render_template(‘模板名字’,name=name,age=age

2020-05-25 19:31:13 104

原创 flaskday01

路由192.168.1.10:8080@app.route(’/index’)def index():return ‘’URL : http://192.168.1.10:8080/indexroute:def route(self, rule, **options):def decorator(f):self.add_url_rule(rule, endpoint, f, **options)return freturn decorator这个装饰器其实就是将rule字符串跟视.

2020-05-25 19:30:38 136

原创 Linux day3作业

1.如何查看passwd⽂件中前三⾏和后三⾏[root@userwang 4]# head -n 3 passwd;tail -3 passwd2.设置/test/a.txt属主有读写执⾏权限，属组，有读写，其他账户⽆权限，⽤三种⽅式实现。1. chmod 760 /test/a.tx2. chmod u=rwx,g=rw,o= /test/a.txt3. chmod u+x,g+w...

2020-04-20 19:13:39 492

原创 linux day2作业

1.如何使⽤命令⽴即重启linux操作系统？使⽤yum安装nginx，安装完成后，在浏览器⾥，敲：http://你服务器的ip地址，看看是什么3.如何查看/etc下的所有⽂件，并以列表格式显示，并且显示隐藏⽂件4.在家⽬录下⼀次性创建 text/1/2/3/4（1）在⼦⽬录4下创建⼀个新⽂件1.txt，1.txt内容是/etc⽬录下⽂件的列表(2) 在⼦⽬录3下创建⼀个⽂件2.txt...

2020-04-14 22:42:09 123

原创 linux day2 目录管理文件管理

目录和文件管理目录管理切换目录绝对路径：以/开始的路径；相对路径：以当前目录为基准表示指定路径； . 表示当前目录；..表示父目录切换到父目录：cd .. 切换到子目录：cd 子目录路径切换到家目录： 1. cd 2 cd ~ 切换到根目录： cd / 切换到来源目录： cd - 显示当前目录： pwd 提示信息: [r...

2020-04-14 22:41:40 92

原创 linux day1

课程简介linux服务器配置及常⽤命令centos开发软件配置及服务环境的搭建软件的安装和配置mysql数据库使⽤、monDB使⽤、redius的使⽤git的使⽤html/cssjs、jquery、vue课程学习⽅式学习⽅法：linux学习基本上都是命令和配置命令要多敲多记掌握基本配置多在⽹上浏览相关⽂章增⻓⻅识⼀、操作系统操作系统是电脑的管家，管理电脑软硬件资源，直接运...

2020-04-14 09:05:30 400

原创 Day20笔记，进程线程协程

一、进程1.多个进程中的全局变量#进程的特点：独立性，并发性，动态性#多个进程间的全局变量：独立性【进程之间是相互独立的，资源不共享】from multiprocessing import Processfrom time import sleep#全局变量num = 100def run(): print("子进程开始") global num ...

2020-04-12 09:09:34 227

原创 day19正则进程

一、正则表达式1.分组匹配import re#() 和 |#1.#+：匹配1个或者多个print(re.search(r"\d+","abc123-d4646gshghg"))print(re.findall(r"\d+","abc123-d4646gshghg"))#*：匹配0个或者多个print(re.search(r"\d*","abc123-d4646gshgh...

2020-04-10 18:10:25 372

原创 day18练习题

利用正则表达式完成下面的操作:1.用户名匹配要求: 1.用户名只能包含数字字母下划线 2.不能以数字开头 3.⻓度在 6 到 16 位范围内import rename=input("请输入用户名：")result=re.match("[^0-9]\w{5,15}$",name)print(result)#或者def check_usernam...

2020-04-10 18:04:10 714

原创 day18笔记错误和异常正则表达式

一、异常和错误1.概念Python有两种错误很容易辨认：语法错误和异常 Python 的语法错误或者称之为解析错误，是初学者经常碰到的，比如缺少冒号等在程序运行过程中，总会遇到各种各样的错误，有的错误是程序编写有问题造成的，这种错误我们通常称之为bug，bug是必须修复的；有的错误是用户输入造成的，这种错误可以通过检查用户输入来做相应的处理；还有一类错误是完全无法在程序运行过程中预...

2020-04-09 20:19:33 314

原创 day17作业

学生管理系统学生类Student属性：学号sid 姓名name 年龄age 性别gender 电话号码tel学生管理系统Manager学生管理系统的数据结构设置:一个学生信息对应一个字典整个系统的所有学生：所有学生对应一个列表，列表中的元素全是字典整个系统：一个字典, 字典中有一个键(all_student)，对应的值是所有学生; 一个键count...

2020-04-09 20:12:59 217

原创 day16作业

1.用代码实现将制定路径下的音频文件剪切到其他路径下import osdef my_cope(src_path,des_path): if not os.path.exists(src_path): print("该文件不存在！") return if os.path.isdir(src_path): print("原路径是一...

2020-04-08 21:33:57 568

原创 day16笔记文件（csv）读写拷贝，序列化反序列化

作业讲解#1.写一个计算器工具类Calculator，可以进行加、减、乘、除计算#注意1：工具类:使用过程以简便为主，可以直接使用类名调用函数：类方法【cls】和静态方法class Calculator(object): @staticmethod def add(x,y): return x + y @staticmethod def sub(x, y): ...

2020-04-08 19:04:46 329

原创 day17笔记

作业讲解"""2.读取 youbian.txt 文件中的数据，完成邮编查询的操作输入邮编号，如果有此邮编，输出对应的城市否则提示无此邮编注意：如果读到的文件中有特殊符号的话可以把文件内容拷贝到一个新建的文件中"""path = r"src/youbian.txt"#方式一"""#打开file = open(path,"r",encoding="ut...

2020-04-08 19:01:56 485

原创 day15作业

一、单选题关于面向过程和面向对象，下列说法错误的是（B）。A. 面向过程和面向对象都是解决问题的一种思路B. 面向过程是基于面向对象的C. 面向过程强调的是解决问题的步骤D. 面向对象强调的是解决问题的对象2. 关于类和对象的关系，下列描述正确的是（D）。A. 类和面向对象的核心B. 类是现实中事物的个体C. 对象是根据类创建的，并且一个类只能对应一个对象D. 对...

2020-04-08 19:00:42 4400 1

原创 day15 面向对象（内置方法，魔术方法）类属性实例属性

作业讲解"""1.定义一个汽车类Vehicle, 要求： 1.属性包括：汽车品牌brand、颜色color和速度speed, 其中速度的起始值是0。 2.为属性提供访问的方法。注意：汽车品牌一旦初始化之后不能修改。 3.方法有加速、减速。"""class Vehicle(object): def __init__(self,brand,color): ...

2020-04-07 18:22:31 378

原创 day14作业

必做题1.定义一个汽车类Vehicle, 要求： 1.属性包括：汽车品牌brand、颜色color和速度speed, 其中速度的起始值是0。 2.为属性提供访问的方法。**注意：**汽车品牌一旦初始化之后不能修改。 3.方法有加速、减速。class Vehicle(object): def __init__(self,brand,color): ...

2020-04-07 18:20:49 1179

原创 day14笔记封装（私有化）继承多台

作业讲解"""2.设计两个类： - 一个点Pointer类，属性包括x，y坐标。 - 一个Rectangle类（矩形）,属性有左上角坐标，宽，高方法：1. 计算矩形的面积；2. 判断点是否在矩形内实例化一个点对象，一个正方形对象，输出矩形的面积，输出点是否在矩形内"""class Pointer(): def __init__(self,x,y): ...

2020-04-07 18:19:16 201

原创 day13作业

1.有一个银行账户类 Account, 包括名字 , 余额等属性，方法有存钱、取钱、查询余额的操作。要求： 1.在存钱时，注意存款数据的格式 2.取钱时，要判断余额是否充足，余额不够的时候要提示余额不足# 要考虑封装class Account(): def __init__(self,name,balance): self.__name=name ...

2020-04-02 17:52:28 622 1

原创 day13笔记动态、限制绑定，构造、析构函数，封装私有化

一、面向对象基础1.动态绑定属性和限制绑定#1.动态绑定属性class Person(): def show(self): print("姓名：%s,成绩：%d,身高：%.2f" % (self.name,self.score,self.height))per1 = Person()#注意：被绑定的属性只能被当前对象持有per1.name = "张三"per1.sco...

2020-04-02 10:06:32 130

原创 day12 练习题

2020-04-01 18:12:39 447

原创 day12笔记系统模块类和对象

一、系统模块1.timeimport time"""时间的表示方式： a.时间戳：以整型或者浮点型表示的以秒为单位的时间间隔，时间基础知识 1970.1.1的零点开始算起 b.时间元组：（year,month,day,hour,minutes,seconds,weekday,dayinyear,DST） c.时间字符串:%Y %m %d %H %M %S ...

2020-03-31 18:45:10 207

原创 day11练习题

必做题1.为函数写一个装饰器，把函数的返回值 +100 然后再返回例如 @add_hundred def add(a, b): return a + b res = add(17, 13) print(res) # 结果为 130def add_hundred(func): def inner(a,b): a=a+100 retur...

2020-03-31 18:42:02 474

原创 day11笔记

一、装饰器#1.带有参数的装饰器def getAge1(age): print(age)def outter1(func): def inner1(n): if n < 0: n = abs(n) func(n) return inner1f1 = outter1(getAge1) #func = getAgef1(-5)...

2020-03-31 18:41:21 108

原创 day10 练习题

列表的练习题1.创建一个空列表，命名为names,往里面添加old_driver,rain,jack,shanshan,peiqi,black_girl 元素names = ['old_driver','rain','jack','shanshan','peiqi','black_girl']a.往names列表里black_girl前面插入一个alexb.把shanshan的名字改成中...

2020-03-30 12:26:41 847

原创 day9 函数匿名函数高阶函数

day9函数#值传递：实参是不可变数据类型，如number，tuble，str，bool，如果形参发生改变，实参不受影响#引用传递：实参是可变的数据类型，如list，dict，set，如果形参发生改变内容，则实参随着改变 #2.关键字参数def show1(name,age):print(“姓名：%s,年龄：%d” % (name,age))show1(“aaa”,19)#注意1...

2020-03-26 21:22:53 799

原创 day8 字符串相关转化

必做题1.输入一个字符串，判断字符串中有多少个字母？多少个数字？多少个其他符号例如:'hello, nice to meet you. i am 18. my birthday is 1999-05-23' -- 结果: 字母的个数为33个，数字个数为10个，其他字符为16个a="hello, nice to meet you. i am 18. my birthday is 199...

2020-03-26 14:32:59 675

原创 day7 字典集合字符串随机数

day7 字典 1.获取语法：字典名[key],获取指定key对应的valuedict[key] 2.修改或添加语法：字典名[key] = 值#方式二：update(),更新，合并字典#注意：dict1.update(dict2),将dict2合并到dict1#方式三：setdefault(key,default),如果default定义，则添加一对键值对，# 如果省略...

2020-03-25 10:38:27 597

原创 day6 copy 冒泡(选择)排序二分法查找元组字典

Python中的数据都是保存在内存中Python中的数据分为两大类：不可变数据类型：数字，布尔，元组，字符串可变数据类型：列表，字典，集合对于不可变数据类型，如果修改值，内存地址会发生改变对于可变数据类型，如果修改值【容器中的元素】。内存地址不会发生改变“”"总结：前提：不管是基层列表，都更改最里层的数据=：不管是单层列表还是嵌套列表，只要其中一个更改，另一个随着更改c...

2020-03-23 20:58:28 386

原创 day5 list，for

第5天：列表作业必做题已知一个列表 names = ['鲁班七号', '后裔', '狄仁杰', '黄忠', '孙尚香']，编写程序用两种方法获取names中的元素黄忠。print(names[3])#或者print(names[-2])#或者value=names.pop(names.index("黄忠"))print(value)#或者if '黄忠' in names:...

2020-03-20 21:18:47 413

原创 day4 if，while

基础题根据输入的成绩的范围打印及格或者不及格。result=int(input("请输入成绩："))if result<0: print("输入有误")elif result<60: print("不及格")elif result<=100: print("及格")else: print("输入有误")根据输入的年纪范围打...

2020-03-19 20:37:03 225

原创 day3 进制转换，运算符

day3进制转换二进制二进制用0b表示转换函数bin（）八进制八进制用0o表示转换函数oct（）十六进制十六进制用0x表示转换函数hex（）数据类型转换转整形int（）转浮点型float（）转字符串str（）转布尔型bool（）输入，输出 print(*objects, sep=' ', end='\n', file...

2020-03-19 20:35:32 1624 1

原创 day2，数据类型，输入，输出

数据类型字符串str数字number 整形int 浮点型float 布尔bool 复数complex列表list元组tuple集合set字典dict输入input([prompt]) prompt: 提示信息输出print(*objects, sep=' ', end='\n', file=sys.stdout, flush=False) objects -- ...

2020-03-18 09:39:00 361

空空如也

空空如也