- 博客(15)
- 收藏
- 关注
原创 初学使用Python编写网络爬虫-Day3(自留用)
本系列内容均参考于教程:网络爬虫是什么 (biancheng.net)为自留用,用于在将来的学习中温故而知新今日内容:构建User-Agent代理池在编写爬虫程序时,一般都会构建一个 User-Agent (用户代理)池,就是把多个浏览器的 UA 信息放进列表中,然后再从中随机选择。构建用户代理池,能够避免总是使用一个 UA 来访问网站,因为短时间内总使用一个 UA 高频率访问的网站,可能会引起网站的警觉,从而封杀掉 IP。构建代理池的方法也非常简单,在工作目录中定义一个 .py 文件,并将
2021-12-28 22:56:44
524
原创 Python课堂笔记-requests库&bs4库的使用(12.23)
requests库: 方法: r=requests.get('url'):发送请求获取资源对象,并返回资源对象 requests.request(代码标签):构造请求 requests.head():获取网页头信息beautifulsoup4库: 安装:pip install bs4/beautifulsoup4 常用导入办法: 导入库:from bs4 import Beautifu...
2021-12-26 19:05:42
618
原创 初学使用Python编写网络爬虫-Day2(自留用)
本系列内容均参考于教程:网络爬虫是什么 (biancheng.net)为自留用,用于在将来的学习中温故而知新今日内容:什么是用户代理和重构爬虫UA信息1.用户代理是什么User-Agent 即用户代理,简称“UA”,它是一个特殊字符串头。网站服务器通过识别 “UA”来确定用户所使用的操作系统版本、CPU 类型、浏览器版本等信息。而网站服务器则通过判断 UA 来给客户端发送不同的页面。我们知道,网络爬虫使用程序代码来访问网站,而非人类亲自点击访问,因此爬虫程序也被称为“网络机器人”。绝大多数
2021-12-23 08:30:00
596
原创 初学使用Python编写网络爬虫-Day1(自留用)
本系列内容均参考于教程:网络爬虫是什么 (biancheng.net)为自留用,用于在将来的学习中温故而知新1.什么是爬虫程序网络爬虫又称网络蜘蛛、网络机器人,它是一种按照一定的规则自动浏览、检索网页信息的程序或者脚本。网络爬虫能够自动请求网页,并将所需要的数据抓取下来。通过对抓取的数据进行处理,从而提取出有价值的信息。2.编写爬虫的流程爬虫程序与其他程序不同,它的的思维逻辑一般都是相似的, 所以无需我们在逻辑方面花费大量的时间。下面对 Python 编写爬虫程序的流程做简单地说明:
2021-12-22 20:10:54
646
原创 Python课堂笔记-库的类型&汇总(12.16)
标准库: (1)turtle库:绘图库 (2)random库:生成伪随机数 (3)os库:多种系统操作接口 (4)re库:正则表达式操作 (5)string库:字符串常量库 (6)math库:数学函数第三方库: (1)wordcloud库:第三方词云展示库 (2)jieba库:第三方中文词库 (3)imageio库:第三方图像数据读写库 (4)matplotlib库:第三方2D绘图库 (5)requests库:第三方H...
2021-12-22 17:05:48
895
原创 Python课堂笔记-文件(12.02)
23.文件 (1)文件的类型 文本文件:由单一特定编码(如UTF_8)组成的文件,如.txt/.py/.html等 二进制文件:没有统一字符编码,直接由比特0和1组成的文件如.png/.exe/.avi等,用记事本打开形成乱码。 (2)文件的打开和关闭 打开:变量名=open(‘文件路径和文件名’,‘rt/rb/x/w/a/+’) t:文本文件打开 b:二进制文件打开 x...
2021-12-22 16:56:39
142
原创 Python课堂笔记-函数(11.18&11.25)
22.函数: 函数的分类: (1)内建函数:自带,直接调用无需导入 (2)库函数(模块):标准函数(自带,但需要导入)和第三方函数(自定义) (3)自定义函数:自己编写的功能代码块 导入库函数: 三种格式: (1)import 库名 库名.函数方法(参数) (2)import 库民 as 自定义简写库名 ...
2021-12-22 16:54:06
130
原创 Python课堂笔记-字典和集合(11.11)
20.字典(dict{}): (1)是一个无序序列,元素的值可以改变,但元素包含两个部分:键(key):值(value)(中间用英文冒号:分割),元素之间用英文逗号,分隔,整个元素放在大括号{}中。键不允许重复,但值可以重复。 (2)方法(函数): 元素读取: dict[键]:如果字典里没有相应的键则提示错误 dict.get(键):如果字典里没有相应的键则不反馈信息 dict.items():返回字典中...
2021-12-22 16:52:56
102
原创 Python课堂笔记-列表&元组(11.4)
16.创建整数列表: range([start,]stop[,step]):一般用在for循环中。 (1)start:计数从start开始,默认为0 (2)stop:计数到stop结束。 (3)step:步长,默认为1。17.列表(list[]):是一个有序序列,可以正向递增或反向递减,列表元素可以为任意类型,元素值可以改变(字符串不能),中间用英文逗号隔开,整个元素用中括号[]连成整体18.列表对象方法与函数: (1)计数函数: le...
2021-12-22 16:52:03
105
原创 【Python代码讲解】7段电子管绘制日期2021.12.02
2021.12.02是一个十分特别的日子,因为它不论正着读还是反着读都是20211202,是一个对称的数字,那作为python初学者,有什么办法能够小小的纪念一下这一天呢?那必然是有的。...
2021-12-05 18:49:12
1246
原创 程序分析-函数嵌套&全局变量
(如有错误请务必指出)程序的代码和运行结果如下图所示在分析结果是如何产生的之前,我们先聚焦于程序本身:本程序先是自定义了函数f_demo,再是自定义了函数g,在这之中,f_demo函数调用g函数,从而形成了函数的嵌套再看向这两个自定义函数,它们都定义了一个变量message,而在这两个函数中,都使用了global将其声明为了全局变量,从而便于在函数内部改变全局变量的值。最后来看本程序的运行过程:函数f_demo→定义变量mesage→函数g→变量赋值(字符串的加减)→retur.
2021-11-25 11:04:02
272
1
原创 学校课后练习2-循环结构和循环语句嵌套
主要练习方向为循环结构和循环嵌套1.计算1+2+...+99+100的结果#计算1+2+3+...+99+100的结果s=0for i in range(1,101): s=s+ielse: print(s)2.求1-100之间的全部奇数之合#求1-100之间的全部奇数之合#代码1x=y=0while True: x=x+1 if not(x%2): continue elif x>100: break...
2021-11-18 14:33:07
283
原创 学校课后练习
1.使用列表推导式得到100以内所有能被13整除的数#使用列表推导式得到100以内所有能被13整除的数的代码x={x for x in range(100)}y={x for x in range(100) if x%13 == 0}print(y)输出结果:{0, 65, 39, 13, 78, 52, 26, 91}2.计算数学表达式x=3的4次方和5乘以6的7次方的和除于8再乘以二分之一次方,并保留三位小数#计算数学表达式的结果t=6**7r=t*5e=3**4u=e+r
2021-10-26 21:50:15
898
2
原创 10.21课堂笔记
10.218.程序的基本结构 (1)顺序结构 (2)选择(分支)结构 if<条件1>: 结构体1 elif: 结构体2 ... else: 结构体n (3)循环结构 for i in range(): 结构体 break() continue()9.函数 ...
2021-10-21 15:54:18
98
原创 9.23/10.14课堂笔记
9.23一.课程资源1.www.runoob.com2.www.liaoxuefeng.com3.www.csdn.net4.个人CSDN博客主页:https://blog.csdn.net/KaLiNiTE0819?spm=1010.2135.3001.5343二.知识要点1.编程语言种类: 机器语言 汇编语言 高级语言(C语言) 超级语言(Python)2.学习方法: 先学习——后模仿——再创新3.Python的两种编程方式: 交互式:...
2021-10-21 13:21:46
124
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人