- 博客(25)
- 收藏
- 关注
RSS订阅原创 2022/3/18爬虫总结
爬虫第一步：考虑用啥方法？找接口requestsselenium第二步：分析网页结构和需要爬取的数据1.普通网页内容2.需要拉到最下面才能拉完一页的（像京东网页）# 需要用到selenium页面滚动height=800for _ in range(13): b.execute_script(f'window.scrollTo(0,{height})') height+=800 time.sleep(1)3.获取到主页信息，需要点击每项进去获取每项内容的#
2022-03-18 19:23:42
549
原创 爬虫01(滚动)
要求：爬虫数据网是向下滚动才能翻完一页的，不滚动鼠标只有半页那种。# 第一步:自动登录首页并搜索，之后获取第一页的数据内容is_first=Truedef func1(): b.get('https://www.jd.com/') time.sleep(2) # 找到搜索图表，搜索手机，并回车 search_button=b.find_element_by_id('key') search_button.send_keys('手机') sear
2022-03-18 09:08:42
453
原创 selenium的使用
selenium的使用基本使用1.创建浏览器对象并且加载页面from selenium import webdriverdriver = webdriver.Chrome()driver.get('https://www.baidu.com')2. 基本配置from selenium import webdriverfrom selenium.webdriver import ChromeOptions# 创建设置对象options = webdriver.ChromeOptions
2022-03-17 15:04:18
172
原创 爬虫day01
BOSS结论：request智联招聘结论：request抖音-热点结论：request快手-短视频结论：headers + request哔哩哔哩-热门结论：request西瓜视频-电影结论：request爱奇艺-电影频道结论：request芒果TV-电影频道结论：request腾讯视频-电影频道结论：request优酷视频-电影频道结论：request淘宝-女装结论：request瓜子二手车结论：headers + request东方财富结论：reques
2022-03-14 20:19:57
669
原创 day19
DAY19学习总结：匹配对象相关：忽略大小写相关操作 ( ？i ) ：print(fullmatch(r'(?i)ABC','abc'))单行匹配相关操作 ( ？s )：既要单行匹配又要忽略大小写 — (?si)匹配对象相关操作：匹配结果对应的字符串:匹配对象.group()获取匹配结果在原字符串中的位置:匹配对象.span()获取原字符串:匹配结果.string迭代器：迭代器是容器型数据类型特点:无法通过打印迭代器查看元素，也无法统计元素个数，需要
2022-03-10 17:43:38
58
原创 day18
DAY18学习总结：一：正则表达式正则表达式是一种可以让一些复杂的字符串问题变得简单的工具。python的正则表达式: r’正则’二：匹配类符号普通字符(在正则表达式中表示字符本身的符号就是普通字符)特殊符号.(点) — 匹配任意一个字符\d — 匹配任意一个数字字符\s — 匹配任意一个空白字符(空格,\t,\n)\D — 匹配任意一个非数字字符\S — 匹配任意一个非空白字符[字符集] — 匹配字符集中的任意一个字符[1-9] — 匹配1-9中的任意一个数字[a-z
2022-03-09 19:49:57
424
原创 day17
DAY17学习总结一：属性类属性怎么定义？ — 直接定义在类中的变量就是类属性怎么使用？ — 通过 （类. ）的方式使用什么时候用？ —— 如果属性值不会因为对象不同而不一样的时候对象属性怎么定义？ —— 以self.属性名=值定义在__init__的方法中怎么使用？ —— 通过 对象. 的方式来使用什么时候用？ —— 如果属性值会因为对象不同而不一样的时候对象属性的默认值赋一个固定的值：每次创建对象的时候不能重新赋值，只能在创建好对象后修改属性的值使用没有默认值的参
2022-03-08 17:53:18
52
原创 day16
DAY16学习总结：一：类类是具有相同功能和相同属性的对象的集合(一类事物的总称) —— 抽象的概念定义类(创建类)用代码来描述清楚这个类是有哪些相同功能(函数)和相同属性(保存数值的变量)的对象的集合语法和说明：class 类名: 类的说明文档 类的内容(方法和属性)class —— 关键字，固定写法 类名 —— 由程序员命名，符合(要求：标识符且不能是关键字;规范：见名知意，驼峰式命名且首字母大写，不使用系统名) : —— 关键字，固定
2022-03-07 17:26:58
124
原创 day15
DAY15学习总结：一：数据持久化背景：程序中的数据保存在运行内存中，程序运行结束后就会被销毁，如果希望程序中的数据在程序结束后不被销毁，就必须将数据通过文件的形式保存到磁盘中。数据持久化又叫数据本地化，就是将程序中的数据存储到文件中常见的数据持久化工具：数据库(.db/.sqlite),json文件,plist文件,csv文件,excel文件,txt文件等等二：文件操作文件操作基本流程：打开文件 —> 操作文件(读写) —> 关闭文件打开文件open(f
2022-03-04 19:42:44
166
原创 day14
DAY14学习总结：一：os模块os模块的作用：提供和文件或者文件夹（目录）或路径相关操作返回当前工作目录print(os.getcwd()) # E:\数据分析\python3.8.cx\day14获取指定文件夹中所有的内容的名字print(os.listdir(文件路径) # ['.idea', 'OS模块.py']创建文件夹os.mkdir(文件夹) —— 在指定路径下创建指定文件夹（整个路径中只有最后那个文件夹不存在才可以创建）os
2022-03-03 19:29:10
177
原创 day13（模块，包，异常）
DAY13学习总结：一：模块认识模块Python中一个py文件就是一个模块模块分为自定义模块和系统模块系统模块：python中自带的模块，例如：functools,keyword,math,random,re,time等自定义模块：由程序员自己创建的模块导入模块如果我们想要使用的内容（变量，函数，类）在另外一个模块中，可以用，但是使用之前必须先导入一个模块中的内容想要被其他模块使用的前提：模块名必须符合变量名的要求(标识符且不是关键字)导入方法import 模块名 ——
2022-03-02 19:46:26
416
原创 day12
DAY12学习总结：匿名函数：匿名函数的本质还是函数，他们除了定义的语法不同。其他的东西都一样语法：lambda 形参列表：返回值案例：# 练习：写一个匿名函数判断指定的数是否是偶数，如果是返回True，否则返回Falseresult=lambda num1:num1%2==0print(result(22))# 练习2：写一个匿名函数判断指定的年是否是闰年，如果是返回True，否则返回Falseresult2=lambda year:year%4==0 and year%1
2022-03-01 19:46:59
145
原创 day11（函数）
函数：认识函数：什么是函数 —— 实现某一特定功能的代码封装函数的分类系统函数 —— 由Python语言已经创建好的函数（max,min,print，input,sorted,sum等等）自定义函数 —— 由程序员自己创建的函数# 语法：def 函数名(形参列表): # 函数说明文档# 函数体# 说明：# def —— 关键字，固定写法# 函数名 —— 由程序员自己命名（和变量名要求一样）# (:) —— 关键
2022-02-28 20:39:20
61
原创 day10-字符串作业(1)
编写一个程序，交换指定字典的key和value。# 例如:dict1={'a':1, 'b':2, 'c':3} --> dict1={1:'a', 2:'b', 3:'c'} dict1={'a':1, 'b':2, 'c':3}dict2={y:x for x,y in dict1.items()}print(dict2)编写一个程序，提取指定字符串中所有的字母，然后拼接在一起产生一个新的字符串# 例如: 传入'12a&bc12d-+' -->..
2022-02-28 19:28:05
62
原创 字符串40类方法
1.capitalize — 将字符串的第一个字符转换为大写str1='abc123'print(str1.capitalize()) # Abc1232.center(width, fillchar)返回一个指定的宽度 width 居中的字符串，fillchar 为填充的字符，默认为空格。str1='abc123'str2=str1.center(10,'0')print(str2) # 00abc123003.countstr1='abc123abc'str2=st
2022-02-27 16:49:09
127
原创 day10(字符串)
DAY10学习总结：字符串相关函数：相关函数（len str eval）str(数据) —— 将指定数据转换成字符串（数据可以是任何类型，转的时候是直接将数据的打印值直接加引号）eval(字符串) —— 计算字符串表达式的结果如果在一个字符串前头加 r/R，可以让字符串中的所以转义字符功能消失，变成普通字符。str1=r'\\a123456' # \\a123456字符串相关方法:字符串.join(序列) — 将序列中的元素用指定字符串拼接成新的字符串
2022-02-25 20:30:57
103
原创 day9(集合和字符串)
集合:认识集合（set）是容器型类型数据，将{}作为容器的标志，里面多个数据用,隔开:{数据1,数据2,数据3,…}特点：a.可变的（支持增删改）b.无序（不支持下标）c.对元素的要求：1.不可变的数据；2.元素是唯一的空集合set1={} —— 空字典set2=set() —— 空集合集合的增删改查（不重要）查 — 只能遍历补充：用for循环遍历无序序列的时候，系统会自动转成列表再进行遍历增: — 集合.add(元素) /
2022-02-24 20:41:07
66
原创 day8（字典）
DAY8学习总结：认识字典：是容器型数据类型（将{}作为容器标志，里面多个键值对用,隔开 —— {键1:值1,键2:值2,键3:值3,键4:值4}）特点：字典是可变的（支持增删改），但是字典是无序的（不支持下标，元素顺序不影响结果）对元素的要求（字典的元素是键值对）：对键的要求：1.键必须是不可变类型的数据（数字，字符串，布尔，元组），2.键是唯一的对值的要求：没有要求字典的基本操作（查）:查单个：语法1： 字典[键] —— 获取字典中指定键的值语法2： 字典.ge
2022-02-23 20:35:07
59
原创 day7-列表作业(1)
创建一个列表，列表中有10个数字, 保证列表中元素的顺序，对列表进行排重,并对列表使用进行降序排序例如：[70, 88, 91, 70, 107, 234, 91, 177, 282, 197] --- 去重之后 [70, 88, 91, 107, 234, 177, 282, 197] ---- 降序排序 [282, 234, 197, 177, 107, 91, 88, 70]num=[70, 88, 91, 70, 107, 234, 91, 177, 282, 197]num2.
2022-02-22 20:51:03
155
原创 day7学习总结
DAY7学习总结：列表相关操作：数字运算符 + *列表1+列表2 —— 将两个列表合并成一个新的列表list1=[1,2,3]list2=[6,5,4]print(list1+list2) # [1, 2, 3, 6, 5, 4]列表 * N（整数） —— 将列表中的元素重复N次list1=[1,2,3]print(list1*2) # [1, 2, 3, 1, 2, 3]比较运算符比较相等 == ！= （两个
2022-02-22 20:45:49
152
原创 day6学习总结
DAY6学习总结：什么是列表：容器：一个变量可以同时保存多个数据（有多个格子的盒子）将[]作为容器的标志，里面多个元素用,隔开，即[数据1,数据2,数据3,…数据n]特点：列表是可变的（指的是列表中元素的个数，值和顺序可变）[10,20,30]————>[10,20,30,40,50][10,20,30]————>[100,20,30][10,20,30]————>[20,10,30]列表是有序的（每个元素都有位置对应的下标索引值）元素的要
2022-02-22 18:37:31
204
原创 第一周作业（零基础）(1)
第一周作业一、选择题下列变量名中不合法的是？（C）A. abcB. NpcC. 1nameD ab_cd下列选项中不属于关键字的是？（C）A. andB. printC. TrueD. in下面哪个选项对应的代码写法是正确的？（C）A.print('Python') print('新手村')B.print('Python') print('新手村')C.print('Python')print('新手村')D.print('Python''新手
2022-02-19 15:11:42
56
原创 day4总结和作业
DAY4学习总结：分支结构：单分支结构（如果…就…）—满足某个条件就执行，否则不执行语法：if 条件语句： 代码段说明：if（关键字，固定写法）条件语句 — 任何有结果的表达式，包括具体数据和运算表达式（赋值运算例外），已经赋值过的变量，函数表达式等:（固定写法）代码段（结构上就是和if保持同一缩进的一条或多条语句，逻辑上就是满足条件才能执行的代码）例子：age=18if age>=18: print('成年了
2022-02-17 20:41:17
136
原创 day2学习内容和作业
DAY2内容总结：注释：注释 - 即代码中不参与编译执行的部分（其存在不影响程序的功能）单行注释：在注释内容前加 #多行注释：在注释内容前后加 “”"或者’’’注释的作用:用注释内容对代码进行说明，提高代码的可续性取消代码的功能行和缩进：行(python中代码一条语句一行，一行结束可以不写分号)如果非要一行多条语句，语句间隔间必须加分号缩进(一条语句前面的空格叫做缩进)一条语句的前面不要随意添加空格标识符和关键字：标识符 - 命名要求(python中
2022-02-16 20:48:59
239
原创 day3（第三天学习内容和作业）
每日总结：1.定义变量：(定义-创建)—用来保存数据的容器，保存后使用变量即使用变量中保存的数据语法：变量名=数据变量名—变量名字由程序员自己命名要求：符合标识符，避开关键字规范：1. 知名见义，2.不使用系统函数、类和模块名，3.字母都小写，多个单词用下划线隔开= （赋值符号）数据（任何有结果的表达式，比如：具体的一个数据，运算结果，已经赋值过的变量）使用变量（就是使用变量中保存的数据，使用变量时必须确定变量已经定义过）重新给变量赋值（变量名=新数据，重新赋值
2022-02-16 19:52:38
236
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人