今天又是困顿的一天-CSDN博客

原创【Python爬虫】集合·持续更新

Python爬虫技术的相关库网络请求：urllibrequests / urllib3selenium(UI自动测试、动态js渲染)appium(手机App的爬虫或UI测试)数据解析：re正则xpathbs4json数据存储：pymysqlmonhodbelasticsearch多任务库：多线程（threading)、线程队列queue协程(asynio、gevent/eventlet)爬虫框架scrapyscrapy-redis分布式(多机爬虫)

2020-12-06 21:00:36 118

原创【Python爬虫】数据解析：bs4

安装包pip install bs4from bs4 import BeautifulSoup生成bs4根节点对象root = BeautifulSoup(html,‘lxml’)查找结点（bs4.element.Tag）root.find(‘标签名’， class _="", id _="") 返回单节点Tag对象root.find_all(‘标签名’， class _="", id _="", limit=3) 返回limit指定数量的Tag对象列表root.selec..

2020-12-08 17:50:18 186

原创 Python爬虫】数据解析：re正则

字符的表示.任意一个字符，除了换行[a-f]、[A-D]、[0-9]、[bgj]范围内的任意一个字符\w 字母、数组和下划线组成的任意字符\W\d 数字\D 非数字\s 空白\S 非空白量词（数量）的表示* 0或多个+ 1或多个? 0或1个{n} n个{n,} 至少n个{n,m} n~m个分组表示( ) 普通的分组表示，多个正则分组时，search（）、groups（）返回是元组(?P<name> 字符+数量) 带有名称的分组，多个正则分..

2020-12-08 17:47:36 177

原创【Python爬虫】数据解析：xpath

xpath属于xml/html解析数据的一种方法，基于元素（Element）的树形结构（Node>Element）.选择某一元素时，根据原始的路径选择，如/html/head/title获取<title>标签。安装包pip install lxml绝对路径从根标签开始，按tree结构依次向下查询。如/html/body/table/tbody/tr。相对路径相对路径可以有以下写法路径写法/依次查找//间接查找./从当前元素下查找.//从当前元素的间接子节点查找

2020-12-06 21:06:47 274 5

原创【Python爬虫】网络请求：requests

requests库是一个网络请求库，基于urllib和urllib3封装的便捷使用的网络请求库。安装环境pip install requests -i https://mirrors.aliyun.com/pypi/simple核心的函数requests.request() 所有请求方法的基本方法以下是request()方法的参数说明methon ：str 指定请求方法，GET,POST,PUT,DELETEurl:str 请求的资源接口(API),在RESTful规范中即是U

2020-12-06 21:05:14 166

原创【Python爬虫】网络请求：urllib

urllib.request模块简单的请求from urllib.request import urlopen#发起网络请求response = urlopen('http://www.hao123.com') assert response.code == 200print("请求成功")#保存请求的网页#file变量接受open()函数返回的对象的__enter__()返回结果with open('%s.html' % wd,'wb') as file: file.write

2020-12-06 21:03:21 89

原创 (简单)326. 3的幂

题目描述给定一个整数，写一个函数来判断它是否是 3 的幂次方。如果是，返回 true ；否则，返回 false 。整数 n 是 3 的幂次方需满足：存在整数 x 使得 n == 3x示例1：输入：n = 27输出：true示例2：输入：n = 0输出：false示例3：输入：n = 9输出：true示例4：输入：n = -3输出：false提示：-231 <= n <= 231 - 1进阶：不使用循环或者递归来完成本题方法一（循环）

2020-11-29 13:33:40 76

原创（简单）976. 三角形的最大周长

题目描述给定由一些正数（代表长度）组成的数组 A，返回由其中三个长度组成的、面积不为零的三角形的最大周长。如果不能形成任何面积不为零的三角形，返回 0。示例1：输入：[2,1,2]输出：5示例2：输入：[1,2,1]输出：0示例3：输入：[3,2,3,4]输出：10示例4：输入：[3,6,2,3]输出：8提示：3 <= A.length <= 100001 <= A[i] <= 10^6解题方法一将数组A从大到小排序若前3个数能

2020-11-29 11:33:18 110

原创（简单）LCP 18.早餐组合

题目表述小扣在秋日市集选择了一家早餐摊位，一维整型数组 staple 中记录了每种主食的价格，一维整型数组 drinks 中记录了每种饮料的价格。小扣的计划选择一份主食和一款饮料，且花费不超过 x 元。请返回小扣共有多少种购买方案。注意：答案需要以 1e9 + 7 (1000000007) 为底取模，如：计算初始结果为：1000000008，请返回 1示例1：输入：staple = [10,20,5], drinks = [5,5,2], x = 15输出：6解释：小扣有 6 种购买方案，所选主

2020-11-26 20:06:51 94

weixin_43814935的博客