xpath不断实践

最新推荐文章于 2024-09-13 18:11:35 发布

A06111

最新推荐文章于 2024-09-13 18:11:35 发布

阅读量107

点赞数

分类专栏：自学文章标签： python

本文链接：https://blog.csdn.net/A06111/article/details/112637891

版权

自学专栏收录该内容

11 篇文章 0 订阅

订阅专栏

本文介绍了一位初学者通过Python进行网络爬虫的实践过程，使用requests和lxml库从文本文件中读取网址，抓取网页上的小说内容链接，并将结果保存到新的文本文件中。代码中包含HTTP请求、HTML解析和XPath选择器的运用，强调了多实践对于编程学习的重要性。

摘要由CSDN通过智能技术生成

菜鸟中的菜菜鸟，学习得多实践
把学到的，输出自己的想法到代码上练习。
多实践才能多理解啊。

// A code block
spider for novel

// An highlighted block
import re, requests
from lxml.html import fromstring,tostring
import time
url = 'https://xxx.xxx.com/'
headers = {
"user_agent":"Mozilla/5.0",
}
a = []
with open("url.txt",'r') as f:
    for line in f.readlines():
        
        a.append(f"http:{line}")
for i in a:
    res = requests.get(url=i,headers=headers,)
    html = res.content
    html = fromstring(html)
    data = html.xpath("//div[@class='read-content j_readContent']")[0]
    text_url = data.xpath('string(.)')
    with open("url_new_http.txt",'a',encoding='utf-8') as fd:
        fd.writelines(text_url)
        time.sleep(3)