![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
DXdaxian
这个作者很懒,什么都没留下…
展开
-
lxml和Xpath实战
百度页面部分爬取 import requests from lxml import etree #定义被爬取的网页 url = "https://www.baidu.com/" #定义请求头 headers = { "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36",原创 2020-05-29 09:08:55 · 233 阅读 · 0 评论 -
爬虫基础--lxml库和Xpath语法
from lxml import etree """ 1.读取html字符串 """ text = \ """ <tr class="hots"> <td class="1">hot1</td> <td class="2">hot2</td> <td class="3">hot3</td> <td class="4">hot4</td> <td clas原创 2020-05-28 19:30:17 · 238 阅读 · 0 评论 -
爬虫数据提取--Xpath语法
爬虫数据提取–Xpath语法 Xpath语法 1、节点选取 2、谓语 3、通配符 4.选取多个路径 |:和 应用 //div[@class=“nav-items”]/ul/li[1]/a 子标签值的获取 //header[@class = ‘main-hd’]/span[1]/@title 获得子标签下某个属性值的获取 ...原创 2020-05-28 12:48:02 · 263 阅读 · 0 评论 -
爬虫数据提取--正则表达式
正则表达式匹配规则 单字符匹配 学习正则表达式一定要从简单语法到复杂语法,逐渐过渡。 """ 正则表达式 """ import re ''' 1、匹配某个字符串: match()----只能匹配某一个字符串 ''' text0 = 'python' #即使匹配错误也不报错,返回none【必须从开头开始匹配,开头错误就直接none,例如text = 'cpython'】 result0 = re.match('py',text0) print(result0)#只返回一个对象。 #group()方法:输原创 2020-05-28 00:41:51 · 414 阅读 · 0 评论 -
爬虫基础——网络请求
爬虫基础——网络请求原创 2020-05-26 10:30:14 · 185 阅读 · 0 评论