- 博客(3)
- 收藏
- 关注
RSS订阅原创 尝试先爬取新闻链接，然后爬取链接后的正文
from lxml import html import requests from pyquery import PyQuery as pq from urllib.parse import urljoin import time from threading import Thread # 获取全部页的网址 def all_url(url): page = 1 while page <= 50: urls = r"https://3g.163.com/touc.
2021-07-28 09:47:38
921
原创 python3爬取网页数据学习笔记——XPath篇
数据来源网站：2016中国企业500强排行榜(完整名单)→买购网 (maigoo.com) 右键数据部分，选择检查 观察到需要的数据的父节点包含关键字'mod_table table1 fcolor30'，而子节点中包含了'td'的项都是要爬取的内容，故可得出XPath路径表达式为： //table[contains(@class, 'mod_table table1')]//td/text()" 完整代码： import requests from lxml import htm
2021-07-15 08:57:28
570
原创 python3爬取新闻页面中的网页链接
使用工具：Jupyter Notebook 示例网页：网易新闻https://3g.163.com/touch/news?referFrom= 导入requests库（注意不是request）： import requests 从网页获取源码： r = requests.get("https://3g.163.com/touch/news") r.encoding = "utf-8" r.text （输出太长就不贴了） 导入lxml库： from lxml import h..
2021-07-13 11:27:10
1009
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人