- 博客(35)
- 收藏
- 关注
RSS订阅
原创 爬虫小项目4
注：更改aweme_id,可以 得到想要获取的视频的评论（aweme_id可在请求网址内获取）1.requeset模块：python中原生的一款基于。的模块，功能强大，简单便捷，且高效。2.作用：模拟浏览器发送请求。
2023-08-11 21:00:03
475
原创 爬虫小项目3
json.loads()和json.load()的区别同上类似，加上s的方法是用来处理字符串类型的，而不加s是用来处理文件类型的。json.dump() 是把python对象转换成json对象生成一个fp的文件流，和文件相关。json.dumps() 是把python对象转换成json对象的一个过程，生成的是字符串。json模块只有四个方法dump()、load()、dumps()、loads()。json.dumps()和json.dump()的区别。
2023-08-09 16:59:48
415
原创 爬虫小项目2
在代码中添加一行，指定requests对象encoding的值为“gb2312”即可。在浏览器中，在待爬取网页上右键单击，选择“查看页面源代码”可以通过指定的encoding基本解决问题。(字符集)charset=gb2312。
2023-08-08 13:54:47
459
原创 python复习5
斐波那契数列又称黄金分割数列，因以兔子繁殖为例而引入，故又称“兔子数列”，指的是这样一个数列：1,1,2,3,5,8,13,21,34...f(n)=f(n-1)+f(n-2)递归函数就是一个函数在他的函数体内调用它自身。执行递归函数将反复调用其自身，每调用一次就进入新的一层。一个正整数的阶乘（factorial）是所有小于及等于该数的正整数之积，0的阶乘为1。因子就是所有可以整除这个数的数字，包括1但不包括这个数自身。比如8的因子有1,2,4。一个数如果恰好等于他的因子之和，这个数就称为完数。
2023-08-06 19:06:55
57
原创 python复习4
他曾应邀来清华大学讲学，一次，他参加某个重要会议，有人问他年龄，他回答说：“我年龄的立方是个四位数。当用户分数为0时，游戏结束，提示“游戏结束，比赛输了”；当用户为200分时，游戏结束，提示“游戏结束，比赛赢了”，每轮比赛都输出当前的分数。中国古代文献中，曾记载“大衍数列”，主要用于解释中国传统文化中的太极衍生原理，他的前几项是：0,2,4,8,12,18,24,32,40,50...在给定的数字下，该数字所有数位的平方和，得到的新数再次求所有数位的平方和，如此重复进行，最终结果必定为一。
2023-08-06 17:31:51
262
原创 python复习3
猴子第一天摘下若干桃子，当即吃了一半，还不过瘾，又多吃了一个；求猴子一共摘了多少桃子？这个算法的名字由来是因为越小的元素会经由交换慢慢“浮”到数列顶端（升序或降序排列），就如同碳酸饮料中的二氧化碳的气泡最终会上浮到顶端一样，故名“冒泡排序”基本思想：从未排序的序列中找到一个最小的元素，放到第一位，再从剩余未排序的序列中找到最小的元素，放到第二位，以此类推，直到所有元素都排序完毕。冒泡排序：从前到后（从下标较小的元素开始）依次比较相邻元素的值，若发现比后一个值大则交换位置，使值较大的元素逐渐从前移向后部。
2023-08-06 10:41:18
195
原创 python复习2
水仙花数是指一个三位数，它的每一位上的数字的三次幂之和等于它本身。这三种方法都有一个chars的参数，默认设置为None，意思是去除空白，我们可以为参数传入字符串，则会按照单个字符串为单位进行匹配剔除。公鸡每只5元，母鸡每只3元，小鸡3只每元，要求用100元买100只鸡（三种类型鸡都要买），问公鸡，母鸡，小鸡各买多少只？输入年月日，输出该日期是否为闰年，并且输出该日期是此年份的第几天。四叶玫瑰数是指四位数各个位上的数字的四次方之和等于它本身的数。以上两种方法能剔除具体的子字符串。（8）格式化字符串的方法。
2023-08-05 22:41:18
64
原创 python复习1
列表和字符串最大的区别就是：列表是可变的，而字符串是不可变的，替换列表中的元素和访问列表类似，都是使用下标索引的方法，用赋值运算符可以将新的值替换。random模块里有一个randint函数，有两个参数，表示随机获取的整数范围。语法：import+空格+模块名。random模块可实现随机数。（1）大小写字母转换。
2023-08-05 16:13:02
50
原创 爬虫学习规划复盘
开始复盘python的基础知识，以及爬虫相关知识，最后两周侧重实践，为暑期项目实现作准备。完成暑期项目（三个小项目，一个大项目）在基本了解爬虫知识后，进行实操演练。
2023-07-30 18:39:46
486
原创 爬虫视频学习之异步爬虫
coroutine：协程对象，我们可以将协程对象注册到事件循环中，它会被事件循环调用。even_loop:事件循环，相当于一个无限循环，我们可以把一些函数注册到这个事件循环上，当满足某些条件的时候，函数就会被循环执行。好处：可以降低系统对进程或线程创建和销毁的一个频率，从而很好地降低系统的开销。future：代表将来执行或还没有执行的任务，实际上和task没有本质区别。好处：可以为相关阻塞的操作单独开启线程或进程，阻塞操作可以异步执行。task：任务，它是对协程对象的进一步封装，包含了任务的各个状态。
2023-07-30 18:05:12
480
原创 爬虫视频学习之scrapy模块
首先引擎向爬虫请求第一个url,爬虫将url提交给引擎，引擎将url地址交给调度器，调度器将url排序入队列，并将处理好的队列返回给引擎，引擎将有序的数据提交给下载器，下载器下载完成后将数据返回给引擎，引擎将接受的数据通过爬虫中间件发送给爬虫进行文件处理，爬虫处理后将获得item数据和url，并发送给引擎，引擎将item数据交给数据管道进行数据持久化处理，将url交给调度器继续入队列。数据管道（pipeline）：负责对爬取到的数据进行处理，例如验证数据、清洗数据、存储数据。
2023-07-30 14:19:51
615
原创 爬虫视频学习之selenium
selenium是一个用于web应用程序测试的工具selenium测试直接运行在浏览器中，就像真正的用户操作一样支持通过各种driver,驱动真实浏览器完成测试支持无界面浏览器操作。
2023-07-30 08:30:40
535
原创 爬虫视频学习之数据解析
1.进行指定标签的定位2.标签或标签对应属性中存储的数据值进行提取注：解析的局部的文本内容都会在标签之间或者标签对应的属性中进行储存。
2023-07-26 11:02:06
575
原创 爬虫视频学习之requests模块
requeset模块：python中原生的一款基于网络请求的模块，功能强大，简单便捷，且高效作用：模拟浏览器发送请求如何使用（requests模块的编码流程）指定url(Uniform Resource Locator,统一资源定位符)发起请求获取响应数据持久化存储环境安装2.实战演练。
2023-07-23 19:45:48
1221
原创 爬虫视频学习1-4
1.含义：通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程2.价值：实际应用和就业python爬虫程序可用于收集数据。爬虫程序使获取大量数据变得非常简单和快速。由于99%以上的网站是基于模板开发的，使用模板可以快速生成大量布局相同、内容不同的页面。因此，只要为一个页面开发了爬虫程序，爬虫程序也可以对基于同一模板生成的不同页面进行爬取内容。如果你使用爬虫来抓取公司网站上所有产品的销售情况，那么你就可以计算出公司的实际总销售额。
2023-07-21 12:55:35
1168
原创 python视频学习之模块和包
是一种代码的打包手段。它是python中最高级别的组织结构，也是最高层次的代码重用手段当一些代码在程序中重复出现时，就会导致冗杂局面出现，这时我们就会把它打包成函数的形式，这样只需要调用函数就可以实现代码的重复使用，我们学到的第一种代码打包手段就是函数；后来我们学习了类和对象，发现可以从另外一个思路解决代码打包问题。类和对象来源于对现实世界的模拟，运用类和对象的打包思维，任何事物都可以被看做是属性和方法的有机结合，属性决定了对象的静态特征，方法实现了对象的动态能力。但是类不是最高级别的打包方案。
2023-07-20 16:21:51
57
原创 python视频学习之类和对象五
当使用type函数构造像classD这种继承了定义过__init_subclass__()的父类时，如果需要给__init_subclass__()传递参数，比如上面我们给它传递value参数，我们就可以通过第四个参数进行接力。type还有第四个参数，这是一个收集参数，当且仅当需要时，该收集参数将被传递给适当的元类机制（通常是__init_subclass__()）（2）对于第二种用法，有四个参数 ，前三个参数必选，含义分别为：指定将要创造的类的名字；指定将要创造的类的父类；指定将要创造的类的属性和方法。
2023-07-19 22:44:01
46
原创 python视频学习之类和对象四
在对象中既可以有属性又可以有方法，python可以像调用函数一样去调用一个对象，要求就是需要这个对象的类去定义一个叫做__call__的魔法方法。以上两个魔法方法必须是返回字符串的类型，其次repr这个魔法方法是可以对str魔法方法进行代偿的。我们说在类里面的函数叫方法，是因为方法需要跟对象进行绑定，但是函数却没有绑定的操作，那么这个静态方法就是让你做到在类里面定义一个不需要绑定的函数。通常定义在类里面的方法，类自己是没有办法直接调用的，需要通过实例对象操作，究其根本，是因为方法需要对象来绑定。
2023-07-16 23:11:19
46
原创 python视频学习之类和对象三
对于索引和切片，我们用__getitem__和__setitem__毋庸置疑，但对于for语句访问__getitem__这种操作，python是退而求其次了，因为python有更好的拦截方案，就是针对可迭代对象的魔法方法__iter__(self)和__next__(self),这两个方法对应的BIF函数就是iter()函数和next()函数。布尔测试也是同样的道理：如果遇到__bool__()函数，python首先会寻找__bool__()的魔法方法；（3）__bool__()魔法方法的代偿实现。
2023-07-16 18:18:03
51
原创 python视频学习之类和对象二
这里能够成功调用S2的__radd__方法 ，首先因为S2实现了radd方法，其次s1和s2是基于不同类的一个对象，再有一个条件是s1里必须不能实现__add__方法，不然还是会优先执行左侧的add方法，这里add方法返回NotImplemented就是明确表示该方法未实现，如果s1不写这个方法也是没问题的，其他魔法方法也是如法炮制。__slots__的限制不仅体现在动态添加属性上，如果我们在类的内部想要创建一个__slots__不包含属性的对象，也不被允许。方法名也是同样的道理。注： 不建议这样做。
2023-07-16 11:24:14
45
原创 python视频学习之类和对象一
在不修改原有类的代码的结构下，让小鬼飞起来：可以写一个功能是“起飞”的类，通过多继承的方式，写到pig的一个父类即可。(继承一个类，就能使用这个类里面的方法和属性，就像pig类继承animal类的时候，就可以使用say方法，而且pig在实例化的时候也使用了animal 的构造函数),类继承的多态：python允许我们在子类中定义和父类同名的方法，就是说如果我们对父类的某个方法不满意，完全可以在子类中重新定义一个同名的方法进行覆盖，这种操作叫重写，重写就是实现类继承的多态。函数，这是一个BIF。
2023-07-11 17:13:01
52
原创 python视频学习之异常
与raise类似，都是主动引发异常，但是assert语句只能引发一个叫做AssertionError的异常，这个语句存在的意义通常是用于代码调试。无论异常是否发生都必须会执行的内容。通常用于执行收尾工作，比如关闭文件。当try语句里没有检测出任何异常的情况下，执行else语句中的内容。注：[ ]表示可选可不选，* 表示0或多个。不能用raise生成一个不存在的异常。
2023-07-09 15:54:41
39
原创 python视频学习之永久储存
使用open()函数，第一个参数是file参数，指定的是文件路径和文件名，如果我们没有添加路径，默认将文件创建在python的主文件夹下面；如果在编辑模式里敲代码，代码内容里有1/0，因为除数不能为0，所以程序会在1/0这一步报错，从而无法完成最后一步关闭文件的close()操作，不能将文件内容传入硬盘，但是如果用with语句尽管会报错，但是文件内容仍会传入硬盘。如果想在windows系统上使用反斜杠来分隔路径，你就必须使用另一条反斜杠来转义反斜杠本身，也可以直接使用原始字符串。
2023-07-09 12:06:58
54
原创 python视频学习42-53
可以在函数内修改全局变量的值，但是在函数中肆意通过gobal语句去声明它是一个全局变量，并且修改全局变量的值的做法非常不提倡，因为这样做很容易出现意想不到且难以排查和维护的bug。：用def语句定义函数，函数名字叫myfunc,后面加上一个小括号，冒号下面就是函数体，函数体是一个代码块，也就是每次调用函数时将被执行的内容；内部函数可以访问到外部函数的变量，但却无法修改它，如果非要在内部函数去修改外部函数的变量，可用。（5）解包参数 ：一个*和两个* 的使用在形参上使用是打包，在实参上使用是解包。
2023-07-06 21:28:03
48
原创 python视频学习37-41
如果两个对象的值相等，尽管是不同的对象，如1和1.0，一个是整数，一个是浮点数，他们的哈希值也应该是相等的。方法一：给出一个键，返回一个对应值，但是如果指定的键不在字典中，程序就会报错，所以更好的方法是使用字典的get(key[,default]),可以传入一个default参数，指定当找不到键时返回的值。python中大多数不可变的对象都是可哈希的，而可变对象则是不可哈希的，字符串是一个典型的不可变对象，可哈希；（视图对象即字典的动态视图，这就意味着当字典的内容发生改变时，视图对象的内容也会相应地改变）
2023-07-05 21:04:23
48
原创 python视频学习32-36
根据提供的函数对指定的可迭代对象的每个元素进行运算，并将运算结果为真的元素，以迭代器的形式返回。（map函数返回的是包含计算结果的迭代器，filter函数返回的是计算结果为真的元素构成的迭代器）（7）enumerate()函数，用于返回一个枚举对象，功能是将迭代对象中的每个元素从开始的序号共同构成一个二元组的列表，它还有一个start参数，可以用来自定义这个序号开始的值。（3）id()是BIF函数,作用就是返回一个代表指定对象的唯一标识的整数值。返回的是一个参数的反向迭代器，支持任何形式的可迭代对象。
2023-07-02 17:34:57
65
原创 python视频学习27-31
共有四种方法，这四种方法都要求有一个width参数，用来指定整个字符串的宽度，如果说指定的宽度小于或等于源字符串，就不用谈对齐了，直接源字符串输出即可。生成一个元组有时称为元组的打包，对应的，将元组内的元素一次性分别赋值变量名的行为称为解包（赋值号左边的变量名的数量必须要与右侧序列的元素数量一致）使用一对花括号来表示替换字段，真正的内容放在format()方法的参数中。
2023-07-01 23:42:24
51
原创 python视频学习20-26
使列表从大到小排序，reverse()默认结果是false，如果将它设置为true,那么结果就会原地翻转 如nums=[3,1,9,6,8,3,5,3] nums.sort(reverse=True) nums为[9,8,6,5,3,3,3,1]列表和字符串最大的区别就是：列表是可变的，而字符串是不可变的，替换列表中的元素和访问列表类似，都是使用下标索引的方法，用赋值运算符可以将新的值替换。列表的加法是拼接，列表的乘法是重复列表内的元素若干次。如果要访问一个不知道有多长的列表的最后一个元素。
2023-06-30 23:58:55
54
原创 python视频学习13-19节
流程图是一种用于表示算法或代码流程的框图结合，它以不同类型的框框代表不同种类的程序步骤，每两个步骤之间以箭头连接起来。在正式开始编程之前，通过绘制思维导图和流程图 ，可以有效的帮助程序员理清产品的核心关键点、业务逻辑及实现方式。while循环：while condition：statement（s）,条件成立时，某模块会一直执行。while-else设计的实质作用，就是易检测循环的退出情况。：跳出本轮循环，回到条件判断位置，继续下一轮循环。：可迭代对象指元素能被单独提取出来的对象。
2023-06-27 23:31:27
53
原创 python视频学习1-12节
随着numpy,scipy,matlotlib等众多第三方模块的开发和完善，不仅使python支持各种数学运算，还可以绘制高质量的2D和3D图像；强大，快速，兼容性强，入门轻松，是开源项目，与人工智能、数据分析、科学计算等这些高精尖项目直接挂钩，用途广，开放性强。python的官方第三软件包仓库，是一个拥有成千上万第三方模块的地方，提供了许多用于python编程的开源软件包。pow(x,y,z)表示x的y次方除于z的余数。(无论是实部还是虚部都是以浮点数的形式存放的)：1+2j，1为实部，2j为虚部。
2023-06-26 21:05:17
64
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人