- 博客(72)
- 收藏
- 关注
RSS订阅原创 python3学习之路 -- 9.3.1）- xpath测试
<!DOCTYPE html><html lang="en"> <head> <meta charset="UTF-8" /> <title>Title</title> </head> <body> <ul> <li><a href="http://www.baidu.com">百
2022-05-24 15:25:16
106
原创 python3学习之路 -- 9.3.4）- 获取xinxi信息
import requestsfrom lxml import etreeimport csvurl = "https://baike.baidu.com/item/易烊千玺"header = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36"}resp = request
2022-05-24 15:24:16
113
原创 python3学习之路 -- 9.3）- xpath模块
"""1. 安装lxml模块：pip install lxmlxpath 解析2. xpath 是在XML文档中搜索内容的一门语言 html 是XML的一个子集3. xpath 使用小技巧： 1. 右键网页，选择检查（在查看网页源码下面） 2. 左上角一个箭头点击，即可左右看到每一个页面展示内容对应的代码 3. 选中代码，右键 --> copy --> copy xpath 或者使用F12，elements部分也可"""'''<
2022-05-19 08:40:00
213
原创 python3学习之路 -- 9.2.1）- 获取yemian信息
import requestsfrom bs4 import BeautifulSoupimport csvurl = "https://baike.baidu.com/item/易烊千玺"header = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36"}resp =
2022-05-19 08:39:41
190
原创 python3学习之路 -- 9.2）- bs4模块
"""安装# pip install bs4# pip install bs4 -i https://pypi.tuna.tsinghua.edu.cn/simple bs4"""# 1. 拿到源代码# 2. 使用bs4进行解析，拿到数据# 需求：从 https://www.sohu.com/a/546226570_120064990 获取到菜的信息import requestsfrom bs4 import BeautifulSoupimport csvurl = "htt
2022-05-19 08:39:22
271
原创 python3学习之路 -- 9.1.4）- 获取yemian内容练习
# 1. 定位到2022必看片# 2. 从2022必看中提取到子页面的链接地址# 3. 请求子页面的链接地址，拿到想要的下载地址import requestsimport redomain = "https://www.dytt89.com/"#resp = requests.get(domain, verify=False)#如果需要SSl，加verify,表示去掉安全验证resp = requests.get(domain)resp.encoding = "gb2312"#pri
2022-05-19 08:38:47
186
原创 python3学习之路 -- 9.1.3）- 获取豆瓣top250_变量
# 拿到页面源代码 requests# 通过re提取想要的信息 reimport requestsimport reimport csv# 获取多页数据，https://movie.douban.com/top250 这个地址每25是一页start = input("输入想从哪个数字+1开始获取25条信息：")url = f"https://movie.douban.com/top250?start={start}"#print(url) https://movie.douban.co
2022-05-19 08:38:29
48
原创 python3学习之路 -- 9.1.2）- 获取豆瓣250top
# 拿到页面源代码 requests# 通过re提取想要的信息 reimport requestsimport reimport csvurl = "https://movie.douban.com/top250"header = { "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/5
2022-05-19 08:38:09
51
原创 python3学习之路 -- 9.1.1）- 正则表达式
"""1. 正则测试工具：https://www.oschina.net/ --> 在线工具 --> 实用在线工具 --> 正则表达式测试（https://tool.oschina.net/regex）元字符： 1. . 匹配除换行符以外的任意字符 2. \w 匹配字母数字或下划线 => [a-zA-Z0-9_] 3. \d 匹配数字 4. \n 换行 5. ^ 匹配字符串的开始 6. $ 匹配字符串的结束
2022-05-19 08:37:51
42
原创 python3学习之路 -- 9.1）- re模块
import re"""#-------------------------------------------- findall --------------------------------------------# findall：匹配字符串中所有的符合正则的内容【返回的是列表】# 正则前面加 r 只有好处没有坏处，不加会有波浪线，看着不舒服lst = re.findall(r"\d+", "我的电话是：17621118979，我朋友电话：10086")print(lst) #['17
2022-05-19 08:37:32
116
原创 python3学习之路 -- 9）- 数据解析
"""解析方式： 1. re解析 Regilar Expression：正则表达式 2. bs4解析 html 基本语法： <标签 属性=“值” 属性=“值”> 被标记的内容 </标签> 3. xpath解析"""...
2022-05-19 08:36:44
47
原创 python3学习之路 -- 8.4）- requests_post
import requestsurl = "https://fanyi.baidu.com/sug"s = input("请输入你要翻译的英文：")#发送的数据dat = { "kw": s}#发送post请求,发送的数据必须放到字典，通过data参数进行传递resp = requests.post(url, data=dat)print(resp.json()) #将服务器返回的内容处理为json...
2022-05-18 08:43:47
112
原创 python3学习之路 -- 8.3）- requests_get
"""安装requestpip install requests清华源：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests"""#搜狗地址：https://www.sogou.com/web?query=易烊千玺#百度地址：https://www.baidu.com/s?&wd=易烊千玺import requests'''#搜狗地址模拟url = 'https://www.sogou.com/
2022-05-18 08:43:25
99
原创 python3学习之路 -- 8.2）- requests拼接参数
#---------------------------------------------------------------------------------------------------------------# https://movie.douban.com/j/chart/top_list?type=24&interval_id=100%3A90&action=&start=0&limit=20# type 后面的信息都是参数#-----------
2022-05-18 08:42:58
918
原创 python3学习之路 -- 8.1）- web请求过程刨析
#1. 服务器渲染：在服务区那边直接把数据和html整合，统一返回给浏览器#2. 客户端渲染；# 第一次请求只要html骨架，第二次请求拿到数据，进行数据展示# 在页面源代码中，看不到数据# 熟练使用浏览器抓包工具 F12...
2022-05-18 08:42:40
96
原创 python3学习之路 -- 8）爬虫
# 爬虫：通过编写程序来获取到互联网上的资源# 百度# 需求：用程序模拟浏览器，输入一个网址，从该网址中获取到资源或内容# python实现# 建议将源码保存成为html页面进行爬取，防止被封from urllib.request import urlopenurl = "http://www.baidu.com"resp = urlopen(url) #打开百度#b 开头为字节，字节转码decode#print(resp.read().decode("utf-8")) #打印抓取
2022-05-18 08:42:15
36
原创 python3学习之路 -- 4.3）内置函数1
'''内置函数：直接可以拿来用的函数s = "呵呵哒"print(help(str))print(str(s))'''
2022-05-18 08:41:54
45
原创 python3学习之路 -- 4.13）内置函数2
"""zip：可以把多个可迭代内容进行合并localsglobals()sorted()：排序将列表里面得每一项传到key,根据key进行排序filter：筛选map""""""# --------------zip()--------------#eg1lst1 = ["小鲁班", "蔡文姬"]lst2 = [2, 1]lst3 = ["射手", "辅助"]result = []for i in range(len(lst1)): first = lst1[
2022-05-18 08:41:20
41
原创 python3学习之路 -- 4.12）匿名函数
"""匿名函数： lambda表达式 语法： 变量 = lambda 参数1,参数2,... : 返回值"""def func(a,b): return a+bret = func(1,2)print(ret)#改成lambda 表达式fn = lambda a, b : a + bprint(fn)
2022-05-18 08:41:03
44
原创 python3学习之路 -- 4.11）推导式
"""-------------------------------------------------------------------------------------------推导式： 简化代码 语法： 列表推导式：[数据 for循环 if条件判断] 集合推导式：{数据 for循环 if条件判断} 字典推导式：{k:v for循环 if条件判断}生成器表达式：(数据 for循环 if条件判断) --> 不叫元组推
2022-05-18 08:40:46
49
原创 python3学习之路 -- 4.10）生成器
"""-------------------------------------------------------------------------------------------1. 生成器 generator：本质就是迭代器2. 创建生成器的2种方案： 2.1. 生成器函数 2.1.1 生成器函数中有一个关键字yield 2.2.2 生成器函数中执行的时候并不会执行函数，得到的是生成器函数 2.2 生成器表达式3. yield:只要函数中出
2022-05-18 08:40:30
48
原创 python3学习之路 -- 4.9）迭代器
"""1. for 变量 in 可迭代: pass可迭代：str,list,tuple,dic,set,open()可迭代的数据类型都会提供一个迭代器，这个迭代器会将数据类型中的数据逐一的拿到2. 获取迭代器的2种方案： 1. iter() 内置函数可以直接拿到迭代器 2. __iter__ 特殊方法（用的不多） it = "呵呵哒".__iter__()3. 从迭代器中拿到数据： 1. next() 内置函数 2. __iter__() it = "
2022-05-17 21:32:53
188
原创 python3学习之路 -- 4.8）装饰器
"""回顾函数： 1. 函数可以作为参数进行传递 2. 函数可以作为返回值进行返回 3. 函数名称可以当作变量进行赋值操作装饰器： 1. 本质是一个闭包 2. 作用： 在不改变原有函数调用的情况下，给函数增加新的功能 即：可以在函数前后添加新功能，但不改变原来的代码 3. 通用装饰器写法： def wrapper(fn): wrapper:装饰器，fn:目标函数 def inner(*
2022-05-17 21:32:42
85
原创 python3学习之路 -- 4.7）闭包
"""闭包：本质，内层函数对外层函数的局部变量的使用，此时内层函数被成为闭包函数 1. 可以让一个变量常驻内存 2. 避免全局变量被修改"""
2022-05-17 21:32:31
42
原创 python3学习之路 -- 4.6）函数的嵌套
'''函数可以嵌套函数函数可以作为一个返回值返回函数可以作为参数进行互相传递总：函数名实际就是一个变量名，都表示一个内存地址'''#eg1嵌套函数:def func1(): print(123) def func2(): print(456) def func3(): print(789) print(1) func3() print(2) print(3)
2022-05-17 21:32:12
161
原创 python3学习之路 -- 4.5）函数的作用域
'''作用域：变量的访问权限和作用域相关的2个关键字：1. global：再局部，引入全局变量2. nonlocal：在局部，引入外层的局部变量'''#eg1 在函数内部修改全局的变量 globala = 10def func(): global a #把外面的全部变量引入到局部 a = 20 #创建一个局部变量，并没有改变全局变量中的afunc()print(a)'''打印：20'''#eg2 在局部引入外层的局部变量def func():
2022-05-17 21:32:00
38
原创 python3学习之路 -- 4.4）函数语法
'''函数的嵌套变量的作用域闭包装饰器def wrapper(fn): def inner(*args, **kwargs): ret = fn(*args, **kwargs) return ret return inner@wrapperdef func() pass迭代器生成器 yield推导式匿名函数python内置函数 sorted,filter,map''''''-----------------
2022-05-17 21:31:43
29
原创 python3学习之路 -- 4.2）函数的返回值
'''返回值：函数执行后，会给调用方一个结果，该结果就是返回值关于return: 函数只要执行到return，函数会立即停止并返回内容，函数内的return的后续代码不会执行 1. 如果函数没有return，默认会返回None 2. 写return 2.1 只写return，后面没有值，此时接收到的依然是None，会让程序停止，后续程序不会继续执行，有点像循环中的break 2.2 return 值，表示函数有一个返回值，外界可以收到一个数据（用
2022-05-17 21:31:32
390
原创 python3学习之路 -- 4.1）函数的参数
'''#------------------------------参数------------------------------分类：1. 形参位置参数；默认值参数：函数声明时给变量一个默认值，若实参不传递信息，默认值生效动态传参： *args,表示接受所有位置参数的动态传参，接收到的值会被放到元组 **kwargs,表示关键字的动态传参，接收到的所有参数会被处理成字典顺序：位置参数 > *args > 默认值参数 > **kwargseg1:de
2022-05-17 21:31:18
42
原创 python3学习之路 -- 4）函数
'''1. 函数的概念：对某一个特定的功能或者代码块进行封装，再需要的时候进行调用2. 定义：def 函数的名字(): 被封装的功能或者代码块-->函数体'''
2022-05-17 21:30:55
27
原创 python3学习之路 -- 3.9）file_operation
import osimport time #和时间相关的模块'''#-----------------------------------------------------------------------------#找到这个文件，双击打开open(文件路劲, mode="", encoding=""): 文件路径： 1.绝对路径 2. 相对路径 mode： r: read 读取
2022-05-17 21:30:19
95
原创 python3学习之路 -- 3.8）operator
'''1. 算数运算符 + - * / %(取余数)2. 比较运算符 > < >= <= == !=3. 赋值运算符 =4. 逻辑运算符 not and or5. 成员运算符 in,not in'''
2022-05-16 08:59:00
77
原创 python3学习之路 -- 3.7）bytes
'''gbk windows默认utf-8 mac默认gb2312s = "上海"s1 = s.encode("gbk") #编码：将字符换为gbks2 = s1.decode("gbk") #解码print(s1) #打印 b'\xc9\xcf\xba\xa3'print(s2) #打印 上海'''
2022-05-16 08:57:30
47
原创 python3学习之路 -- 3.6）dict
'''1. 字典以键值对形式存储数据2. 表示方式；{key:value,key2:value2,key3:value3}3. 字典的key必须是可哈希的数据类型4. 字典的value可以是任何数据类型dic = {"1001":"张三","10":"李四"}val = dic['10'] #用起来只是把索引换成了keyprint(val)#==============================5. 字典的增删改查==============================# 增
2022-05-16 08:56:33
169
原创 python3学习之路 -- 3.5）set
'''set 集合，无序s = {} #无值的时候为字典print(type(s)) #<class 'dict'>s1 = {1,2,3} #有值的时候为集合print(type(s1)) #<class 'set'>#s2 = {1,2,3,"aa",[]}#print(s2) #TypeError: unhashable type: 'list'（不可哈希）# 不可哈希：# python中的set集合进行数据存储时，需要对数据进行哈希计算，根据计算的哈希
2022-05-16 08:54:42
186
原创 python3学习之路 -- 3.4）tuple
'''元组：不可变的列表t = ('大恺', '安奇拉','妲己', '小鲁班')print(t[1:3])#t[0] = '小恺' #TypeError: 'tuple' object does not support item assignment(元组不可变)#print(t)# 固定了某些数据，不允许外界修改# 元组如果只有1个元素，需要在末尾添加逗号, 否则会被当做是字符串t = ('大恺')print(type(t)) #<class 'str'>print
2022-05-16 08:54:04
108
原创 python3学习之路 -- 3.3）list
'''========================================列表========================================定义：能装东西的东西python中，用[]表示一个列表，元素通过,隔开特性：1.像字符串，有索引、切片2.索引如果超过范围会报错3.可以用for循环进行遍历4.用len可以拿到列表的长度lst = ['我','来自','上','海']print(lst[0])print(lst[1:3])print(lst[::-
2022-05-16 08:52:46
35
原创 python3学习之路 -- 3.2）str
'''---------------------------------字符串---------------------------------1. 字符串的格式转化%s 字符串占位%d 占位整数%f 占位小数eg:name = input('地点:')year = int(input('年份:'))s1 = "我来自%s,%d年了！！" % (name,year)s2 = "我来自{},{}年了！".format(name,year)s3 = f"我来自{name},{year}年
2022-05-16 08:51:54
132
原创 python3学习之路 -- 3.1）int,float,bool
'''1. int：整数，+-*/，大小比较2. float：小数，浮点数3. bool：用来做条件判断（True,False）'''
2022-05-16 08:51:22
47
原创 python3学习之路 -- 3）python的基础数据类型
'''int,float,boolstrlisttuplesetdictbytes运算符文件操作'''
2022-05-16 08:48:49
105
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人