- 博客(22)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 day8-异步IO
创建线程的三种方式1. 创建Thread对象 ---> target / args ---> start()2. 继承Thread类 ---> 重写run()方法 ---> start()3. 使用线程池（最佳选择）---> 减少频繁创建和释放线程造成的系统开销线程间的通信非常简单，可以通过共享内存来实现进程间的通信比较麻烦，因为进程间的内存是相互隔离的，需要使用管道、套接字等方式来通信多进程 —> 计算密集型任务 —> 科学计算 / 音视频编解码
2021-06-03 19:19:15
189
原创 day6-爬虫流程整理+线程与进程
爬虫流程整理1.获取网络数据 - request selenium找到目标网站 - 直接用request ，这是请求头 - user-agent - cookie -- 设置代理请求拒绝 - 使用 - selenium - cookie - 设置代理2.解析数据正则表达式。css选择器（bs4,pyquery）。xpath3.保存数据csv、excel"""import requestsurl = 'https://www.pinduoduo.com/'re
2021-06-01 21:04:18
218
原创 day5-(jd+51job)
京东数据(滚动爬取+翻页)"""Time:2021/5/28 14:38Author:Spectre"""from selenium import webdriverfrom selenium.webdriver.common.keys import Keysimport timefrom lxml import etreefrom bs4 import BeautifulSoupimport csvfrom selenium.webdriver.support.ui import
2021-05-30 17:01:46
208
原创 day4-解析器和selenium的使用
01-爬取斗鱼直播import requestsfrom bs4 import BeautifulSoupimport csvimport reimport jsondef get_net_data(): url = 'https://www.douyu.com/g_LOL' response = requests.get(url) if response.status_code == 200: return response.text p
2021-05-30 17:01:04
143
原创 day3-代理和css选择器解析库
01-获取代理ipimport requestsdef get_proxy_ips(): api='http://piping.mogumiao.com/proxy/api/get_ip_bs?appKey=3ee6f035175f4b508d8a825da0fb3833&count=5&expiryDate=0&format=2&newLine=3' response = requests.get(api) if response.status
2021-05-26 19:15:59
263
原创 day2-css选择器+requests
01-css选择器css基本语法css负责网页样式和布局1.css语法选择器{属性名1：属性值1;属性名2：属性值2;属性名3：属性值3;}说明：选择器 - 选中需要设置样式的标签{} - 固定写法属性名 - 决定需要设置哪些样式属性值 - 如果时表示数值大小，一般是像素pxcolor - 颜色英文单词/rgb(红，绿蓝)/颜色的16进制font-size - 字体大小backgroundcolor - 背景颜色widthheight
2021-05-25 19:23:16
427
原创 day1-requests的使用
html基础常用标签<!DOCTYPE html> <!-- !DOCTYPE - 版本说明--><!-- html基本结构 head - 头部 body - 内容 --> <!-- 标签语法：单标签和双标签 <标签名></标签名> <标签名 /> <标签名> --><html> <head> <!-- 设置编码方式 --&g
2021-05-24 19:22:30
129
原创 day18-继承和邮件自动发送
01-继承1.什么是继承继承就是让子类直接拥有父类的属性和方法。子类 - 继承者父类 - 被继承者2.继承的语法class 类名（父类1，父类2，…): # 多个父类pass定义类的时候如果没有写继承关系，那么这个类默认继承python的基类:objectclass 类名: == class 类名(object):# 子类继承父类的属性和方法class Person: num = 61 def __init__(self):
2021-05-20 20:03:00
297
原创 day17-面向对象
01-类和对象1.定义类（创建类）定义类就是 用代码描述清楚你这个类拥有哪些相同功能和哪些相同属性的对象的集合。功能 - 对应的是函数保存数据的变量 （在类中叫属性）语法：class 类名:类的说明文档类的内容说明class - 关键字类名 - 自己命名要求：是标识符，不是关键字规范：见名知义；驼峰式命名（单词之间采用首字母大写） (studentName)+ 首字母大写;不使用系统函数名、类名和模块名StudentName -
2021-05-19 18:44:47
59
原创 day12-三大神器
01迭代器1.什么是迭代器(iter)迭代器是容器型数据类型（序列），迭代器无法直接获取左右元素，也不能统计元素个数获取迭代器中的元素的时候，会导致这个元素从迭代器中消失。元素取一个就少一个。2.创建迭代器创建迭代器只有两种方式：1）将其他序列转换成迭代器 2）创建生成器iter1 = iter('abc')print(iter1) # <str_iterator object at 0x000002295E1CE6C8>iter2 = iter([1
2021-05-13 20:20:41
71
原创 day11-函数高阶
01 匿名函数1.匿名函数 - 没有函数名的函数lambda 形参列表：返回值相当于：def (形参列表）:return 返回值函数名 = lambda 形参列表：返回值相当于：def 函数名(形参列表）:return 返回值注意：匿名函数的本质还是函数，之前函数中除了定义函数的语法以外的内容都适用于匿名sum1 = lambda x,y:x+yprint(sum1(10,20))print(sum1(x=130,y=110))def sum1
2021-05-13 10:25:08
59
原创 day10-函数进阶
01函数的参数1.位置参数和关键字参数根据实参的提供不同将实参分为位置参数和关键字参数1)位置参数:调用函数的时候让实参和形参在位置上意义对应2）关键字参数：调用函数的时候以’形参名=值‘的形式确定形参对应的实参3）位置参数和关键字参数混用：位置参数必须在关键字参数前面，同时必须保证每个参数都会有一次赋值def func1(x, y, z): print(f'x:{x},y:{y},z:{z}')# 位置参数func1(10, 20, 30)func1(10, 30,
2021-05-12 11:04:52
106
原创 day9-格式字符串和函数基础
01格式化字符串'xxx今年xx岁‘name = 'cc'age = 22# 'xxx今年xx岁‘message = name + '今年' +str(age) + '岁'print(message)1.格式化字符串：格式占位符语法：包含格式占位符的字符串 %（数据1，数据2 ，…)说明：括号中数据的个数需要格式占位符的个数保持一致格式占位符：%s - 任何类型的数据%d - 整数%f - 浮点数 %.Nf - 保留N为小数%c - 字符
2021-05-11 17:53:42
57
原创 day8-字符串
01字符串和字符什么是字符串字符串是容器型数据类型（序列）、将‘’ 或者 ”“ 或者’’’ ‘’’ 或者”“” “”“作为容器标志里面每一个独立的符号就是字符串的一个元素字符串是不可变的 不支持增删改字符串是有序的 （支持下标操作）字符串的元素：引号里面的每个符号都是字符串的元素，字符串的元素又叫字符字符分为两种：普通字符和转义字符1)空串 （引号里什么也没有，空格也不行）empty1 = ''empty2 = ""empty3 = ''''''empty4 = ""
2021-05-08 20:23:29
70
原创 day7-字典和集合
01字典1.什么是字典字典是容器型数据类型（序列），将{}作为容器标志，里面多个元素用逗号隔开，每个元素必须是键值对：{键1：值1，键2：值2，键3：值3，…}字典是可变的（支持增删改）；字典无序键：不可变的数据才可以做为字典的键 （数字、字符串、元组）；键是唯一的值：值才是字典真正想要保存的数据，键的作用就像列表中的下标用来对值进行区分和说明。值可以是任何类型的数据。1）空字典dict1 ={}print(dict1,type(dict1),len(dict1)) # {}
2021-05-07 20:43:41
62
原创 day6-元组和字典
01 列表相关函数和方法1.列表（序列） 相关函数-- max min sum len sorted reversedmax(序列） - 获取最大(序列中的元素本身必须支持比较运算，并且元素之间可以比较大小nums=[89, 23, 45, 890, 82, 40]print(max(nums))min(序列） - 获取最小(序列中的元素本身必须支持比较运算，并且元素之间可以比较大小print(min(nums))sum（序列） – 求序列中所有元素的和（序列中元素
2021-05-06 21:18:12
145
原创 day5-列表增删改及相关操作
列表的增删改增 - 添加元素1） 列表.append(元素） 在列表的最后追加指定元素 tvs = ['回家的诱惑', '非自然死亡', '我的兄弟叫顺溜', '琅琊榜', '甄嬛传', '亮剑', '请回答1988'] print(tvs) tvs.append('生活大爆炸') print(tvs)# 练习 用一个列表保存100以内所有能被3整除的数list1 = []for i in range(3, 100, 3): list1.append(i)pri
2021-05-02 12:25:42
117
原创 day4-循环练习+list
01回顾python 交换两个数的数值# python交换数据a = 0b = 6a, b = b, a斐波那契数列# 递归函数调用输出第N个斐波那契数列def Fib(n): if n == 1 or n == 2: return 1 else: return (Fib(n-1) + Fib(n-2))print(Fib(5))# python斐波那契pre1 = 1pre2 = 1n = 6for x in ra
2021-04-29 21:19:35
78
原创 day3-循环结构
01for循环循环 - 代码一遍，却可以执行多次循环分为：for循环，while循环for循环语法：for 变量 in 序列：循环体说明：for、in - 关键字变量 - 变量名（可以是没有定义的变量名，也可以是已经定义过的变量名）序列 - 容器型数据类型的数据，常见序列：字符串，列表，元祖，字典，集合。迭代器，生成器，range等: - 固定写法循环体 - 和for保持一个缩进的一条或者多条语句。（需要重复执行的代码）执行
2021-04-28 20:36:09
164
原创 day2-运算符和变量作业
01数学运算符python中常用的运算符：数学运算符、比较运算符、逻辑运算符、赋值运算符数学运算符：±*/ %（取余，取模） //（整除） **（幂运算）±*/ - 和数学中的加减乘除一样 （特别是除法运算与C、Java不同）% 取余 - 求余数x%y - x除以y的余数print(5 % 2) # 1应用一：判断一个数是否能够被另一个数整除应用二：取一个数的低位数num = 232print(num % 10) # 2
2021-04-27 21:37:29
90
原创 day1-基础语法和变量
一、md语法初识语法1：标题 在内容前加#号 1-6个标题1标题2标题3标题6####### 标题7（无效）ctrl+/ 可查看源代码语法2：代码引用 三个` +语言名print('hello world')a=10# 注释内容print(a+100)print('hello') #没有高亮语法3：行引用（ 大于+空格 ）和行内引用 (*)这是一行内容1一行内容2一行内容3今天学习了python语法今天学习了python语法
2021-04-27 17:32:08
272
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人