python
文章平均质量分 91
okboy519
这个作者很懒,什么都没留下…
展开
-
猫眼数据爬取
import json import re import requests from requests.exceptions import RequestException # 伪造:UserAgent,某些网站会识别python爬虫程序并阻断,通过构造User_Agent可以抵抗某些反爬虫机制 from fake_useragent import UserAgent from multiprocessing import Pool ua = UserAgent() # 获取数据 def get_on原创 2020-08-01 17:31:18 · 501 阅读 · 0 评论 -
py3爬虫--beautiful-soup库的使用
Beautiful soup 灵活又方便的网页解析库,处理高效,支持多种解析器。 利用它不用编写正则表达式即可方便的实现网页信息的提取 安装 pip install beautifulsoup4 引入 import bs4 from 解析库 解析器 使用方法 优势 劣势 Python标准库 BeautifulSoup(markup,"html.parser") Python的内置标准库执行速度适中文档容错能力强 Python 2.7.3 or 3.2.2)前 的版本中文档容错能力差原创 2020-08-01 14:49:47 · 200 阅读 · 0 评论 -
python3爬虫笔记
什么是爬虫? **请求网站并提取**数据的 **自动化**程序 爬虫的基本流程 发起请求 通过HTTP库向目标站点发起请求,即发送一个Request,请求可以包含额外的headers等信息,等待服务器响应 获取响应内容 如果服务器能正常响应,会得到一个Response,Response的内容便是索要获取的页面内容,类型可能有HTML,JSON字符串,二进制数据(如图片视频)等类型。 解析文本内容 得到的内容可能是HTML,可以用正则表达式、网页解析库进行解析。可能是JSON,可以直接转为JS原创 2020-08-01 13:18:06 · 123 阅读 · 0 评论 -
python3----元组(tuple)笔记
元组 元组与列表的区别 列表的数据可以修改 元组内的数据是不能修改的 定义元组 元组特点:定义元组使⽤⼩括号,且逗号隔开各个数据,数据可以是不同的数据类型。 # 多个数据元组 t1 = (10,20,30) # 单个数据元组 t2 = (10,) 注意:如果定义的元组只有⼀个数据,那么这个数据后⾯也好添加逗号,否则数据类型为唯⼀的 这个数据的数据类型 t2 = (10,) print(type(t2)) # tuple t3 = (20) print(type(t3)) # int t4 = ('he原创 2020-06-28 11:41:57 · 136 阅读 · 0 评论 -
python3--列表笔记
3列表 列表的应用场景 列表格式 列表的常用操作 列表的遍历循环 列表的嵌套使用 1.列表的应用场景 列表一次性可以存储多个数据,跟js的数组类似 2.列表格式 [数据1,数据2,数据3,数据4,…] 列表可以y一次性存储多个数据,且可以为不同数据类型。工作中需要存储相同类型,好维护 3.列表的常用操作 3.1查找 3.1.1下标查找 name_list = ['tom','lulu','jack'] print(name_list[0])#tom print(name_list[1])#lulu原创 2020-06-28 11:26:16 · 124 阅读 · 0 评论 -
python3字符串笔记
字符串 认识字符串 字符串是py中最常用的数据类型,一般使用引号创建。 a = 'hello,world' 字符串特征 单引号字符串 a = 'tom' 双引号字符串 a = "tony" 三引号字符串 三引号可以回车换行显示 字符串输出 print('hello,world') name = 'tom' print('我的名字是%s' %name)#我的名字是tom print(f'我的名字是{name}')# 我的名字是tom 字符串输入 在py中,用input()接受用户的输入,返回的是字符原创 2020-06-27 22:31:20 · 194 阅读 · 0 评论 -
python3格式化输出
%s格式话字符串。%d,%f name = 'tom' age = 15 weight = 72.3 stu_id = 1 print('我是%s,我今年%d岁了,我的体重是%.2f公斤,我的学号是%06d' % (name, age, weight,stu_id)) #我是tom,我今年15岁了,我的体重是72.30公斤,我的学号是000001 %06d,表示输出的整数显示位数,不足以0不全,超出当前位数则原样输出 %.2f,表示小数点后显示的小数位数。 f格式化字符串 f’{表达式}’原创 2020-06-24 09:16:11 · 1491 阅读 · 0 评论