Go 爬虫 解析 xml

最新推荐文章于 2022-03-19 10:02:35 发布
最新推荐文章于 2022-03-19 10:02:35 发布
阅读量271 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/songhao8080/article/details/103669886
版权

Go 爬虫抓取解析 xml

导入爬虫用到的库

Python
import ( "encoding/xml" // xml 标准库 "fmt" // 打印" "io/ioutil" // ioutil 包实现了一些 I/O 实用函数。 "net/http" // http 请求库 )
1
2
3
4
5
6
7
8
9
10
11
import (
     "encoding/xml"
     / / xml 标准库
     "fmt"
     / / 打印 "
    " io / ioutil "
    // ioutil 包实现了一些 I/O 实用函数。
    " net / http"
     / / http 请求库
)
 

定义抓取函数

Python
// 抓取 url xml 返回 []byte func getXML(url string) ([]byte, error) { resp, err := http.Get(url) // 请求 url if err != nil { return []byte{}, fmt.Errorf("GET error: %v", err) } defer resp.Body.Close() // 清理内存 if resp.StatusCode != http.StatusOK { return []byte{}, fmt.Errorf("Status error: %v", resp.StatusCode) } // 根据状态码 判断是否正常 data, err := ioutil.ReadAll(resp.Body) if err != nil { return []byte{}, fmt.Errorf("Read body: %v", err) } return data, nil }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
/ / 抓取 url xml 返回 [ ] byte
func getXML ( url string ) ( [ ] byte , error ) {
     resp , err : = http . Get ( url )
     / / 请求 url
     if err != nil {
         return [ ] byte { } , fmt . Errorf ( "GET error: %v" , err )
     }
     defer resp . Body . Close ( )
     / / 清理内存
 
     if resp . StatusCode != http . StatusOK {
         return [ ] byte { } , fmt . Errorf ( "Status error: %v" , resp . StatusCode )
     }
     / / 根据状态码 判断是否正常
 
     data , err : = ioutil . ReadAll ( resp . Body )
     if err != nil {
         return [ ] byte { } , fmt . Errorf ( "Read body: %v" , err )
     }
 
     return data , nil
}
 

xml 格式

定义xml 的 struct

Python
type rss struct { XMLName xml.Name `xml:"rss"` Items []itemD `xml:"channel>item"` } type itemD struct { Title string `xml:"title"` PubDate string `xml:"pubDate"` Link string `xml:"link"` }
1
2
3
4
5
6
7
8
9
10
11
type rss struct {
     XMLName xml . Name ` xml : "rss" `
     Items [ ] itemD ` xml : "channel>item" `
}
 
type itemD struct {
     Title string ` xml : "title" `
     PubDate string ` xml : "pubDate" `
     Link string ` xml : "link" `
}
 

struct 和 xml 格式对应

rss struct 对应 xml

itemD struct 对应 xml

主函数

Python
func main() { url :="https://rsshub.app/fx678/kx" bytes,_:= getXML(url) var ss rss xml.Unmarshal(bytes,&ss) // 解包 for index, value := range ss.Items{ fmt.Println(index,value.Link, value.PubDate, value.Title) } // 由于 ss.Items 是个数组，所以采用 for 循环遍历 }
1
2
3
4
5
6
7
8
9
10
11
12
13
func main ( ) {
     url : = "https://rsshub.app/fx678/kx"
     bytes , _ : = getXML ( url )
     var ss rss
     xml . Unmarshal ( bytes , & ss )
     / / 解包
     for index , value : = range ss . Items {
         fmt . Println ( index , value . Link , value . PubDate , value . Title )
     }
/ /   由于 ss . Items 是个数组，所以采用 for 循环遍历
 
}
 

输出如下：

全部代码如下：

Python
package main import ( "encoding/xml" "fmt" "io/ioutil" "net/http" ) // 抓取 url xml 返回 []byte func getXML(url string) ([]byte, error) { resp, err := http.Get(url) // 请求 url if err != nil { return []byte{}, fmt.Errorf("GET error: %v", err) } defer resp.Body.Close() // 清理内存 if resp.StatusCode != http.StatusOK { return []byte{}, fmt.Errorf("Status error: %v", resp.StatusCode) } // 根据状态码 判断是否正常 data, err := ioutil.ReadAll(resp.Body) if err != nil { return []byte{}, fmt.Errorf("Read body: %v", err) } return data, nil } type rss struct { XMLName xml.Name `xml:"rss"` Items []itemD `xml:"channel>item"` } type itemD struct { Title string `xml:"title"` PubDate string `xml:"pubDate"` Link string `xml:"link"` } // 变量一定要大写 // 定义结构体 func main() { url :="https://rsshub.app/fx678/kx" bytes,_:= getXML(url) var ss rss xml.Unmarshal(bytes,&ss) for index, value := range ss.Items{ fmt.Println(index,value.Link, value.PubDate, value.Title) } // 由于 ss.Items 是个数组，所以采用 for 循环遍历 }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
package main
 
import (
     "encoding/xml"
     "fmt"
     "io/ioutil"
     "net/http"
)
 
/ / 抓取 url xml 返回 [ ] byte
func getXML ( url string ) ( [ ] byte , error ) {
     resp , err : = http . Get ( url )
     / / 请求 url
     if err != nil {
         return [ ] byte { } , fmt . Errorf ( "GET error: %v" , err )
     }
     defer resp . Body . Close ( )
     / / 清理内存
 
     if resp . StatusCode != http . StatusOK {
         return [ ] byte { } , fmt . Errorf ( "Status error: %v" , resp . StatusCode )
     }
     / / 根据状态码 判断是否正常
 
     data , err : = ioutil . ReadAll ( resp . Body )
     if err != nil {
         return [ ] byte { } , fmt . Errorf ( "Read body: %v" , err )
     }
 
     return data , nil
}
 
 
type rss struct {
     XMLName xml . Name ` xml : "rss" `
     Items [ ] itemD ` xml : "channel>item" `
}
 
type itemD struct {
     Title string ` xml : "title" `
     PubDate string ` xml : "pubDate" `
     Link string ` xml : "link" `
}
/ / 变量一定要大写
/ / 定义结构体
 
func main ( ) {
     url : = "https://rsshub.app/fx678/kx"
     bytes , _ : = getXML ( url )
     var ss rss
     xml . Unmarshal ( bytes , & ss )
 
     for index , value : = range ss . Items {
         fmt . Println ( index , value . Link , value . PubDate , value . Title )
     }
/ /   由于 ss . Items 是个数组，所以采用 for 循环遍历
 
}
 
 

另外一个库 更方便 etree

Python
package main import ( "fmt" "github.com/levigross/grequests" ) import "github.com/beevik/etree" func main() { url := "https://rsshub.app/fx678/kx" xml_source, _ := grequests.Get(url, nil) doc := etree.NewDocument() if err := doc.ReadFromString(xml_source.String()); err != nil { panic(err) } root := doc.SelectElement("rss") root = root.SelectElement("channel") for _, item := range root.SelectElements("item") { title := item.SelectElement("title").Text() url := item.SelectElement("link").Text() fmt.Println(title, url) } }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
package main
 
import (
     "fmt"
     "github.com/levigross/grequests"
)
import "github.com/beevik/etree"
 
func main ( ) {
     url : = "https://rsshub.app/fx678/kx"
     xml_source , _ : = grequests . Get ( url , nil )
     doc : = etree . NewDocument ( )
     if err : = doc . ReadFromString ( xml_source . String ( ) ) ; err != nil {
         panic ( err )
     }
     root : = doc . SelectElement ( "rss" )
     root = root . SelectElement ( "channel" )
     for _ , item : = range root . SelectElements ( "item" ) {
         title : = item . SelectElement ( "title" ) . Text ( )
         url : = item . SelectElement ( "link" ) . Text ( )
         fmt . Println ( title , url )
     }
 
}
 
 



  • zeropython 微信公众号 5868037 QQ号 5868037@qq.com QQ邮箱
songhao8080
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Go-百度云爬虫
08-14
百度云爬虫
爬虫-xml文件解析
我是张先生
11-17 804
爬取某网站，需要从xml文件中解析数据 def test1(self): for num in range(1,56): url = "http://gb.shandong.gov.cn/module/web/jpage/dataproxy.jsp?page={}&webid=410&path=http://www.shandong.gov.cn/&columnid=107851&unitid=283644&webn.
go爬虫系列
05-15 181
一、go语言爬取豆瓣电影top250 package main import ( "net/http" "io/ioutil" "os" "fmt" "strconv" "regexp" "time" ) //定义新的数据类型 type Spider struct { url string header m...
php和python写爬虫-一个简单的Python写的XML爬虫
weixin_37988176的博客
11-01 92
一个简单的Python写的XML爬虫来源：程序员人生 发布时间：2013-11-06 16:22:29 阅读次数：1578次原理很简单，读XML结构，返回值，判断，根据返回的值得到下一个XML的地址，判断PY的class和PHP差不多，思路是一样的#-*- encoding: utf-8 -*-import codecsimport sysimport threadingfrom urllib...
GO-爬虫
weixin_37549298的博客
04-14 542
GO-爬虫 参考：https://www.bilibili.com/video/BV1ub411p7cz 简介：使用beego框架，写了一个爬取豆瓣电影的爬虫，爬取的是静态页面。爬取电影信息存入mysql，同时使用redis缓存爬取的urls，及电影id，用于去重及作为url队列。 预备条件 下载beego框架,前提是配置好go的gopath:使用指令go get github.com/asta...
爬虫解析库：XPath
01-20
    XPath，全称 XML Path Language，即 XML 路径语言，它是一门在 XML 文档中查找信息的语言。最初是用来搜寻 XML 文档的，但同样适用于 HTML 文档的搜索。所以在做爬虫时完全可以使用 XPath 做相应的信息抽取...
Python爬虫解析网页的4种方式实例及原理解析
09-18
主要介绍了Python爬虫解析网页的4种方式实例及原理解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
樱花动漫 爬虫解析 安卓客户端.zip
03-08
解析内容： 爬虫对获取的HTML进行解析，提取有用的信息。常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助爬虫定位和提取目标数据，如文本、图片、链接等。 数据存储： 爬虫将提取的数据存储到...
Python爬虫解析笔记.md
08-27
通过学习可以掌握网络爬虫的基本概念和实现思路,了解异常处理、会话管理等技巧的应用,学会使用相关库解析网页、提取信息。可以通过示例代码学习编写爬虫程序的基本方法。 阅读建议: 可以先了解网络爬虫的基本思想,...
小说爬虫的xml文件demo
01-29
必须结合小说爬虫工具使用
Go-一个轻量级golang爬虫调度包
08-14
一个golang实现的轻量级爬虫包，只提供了爬虫最核心的调度功能，所以整体实现非常精简，使用也非常简单并且易于上手
go 爬虫
开发之路
12-22 214
package main import ( "fmt" "io" "io/ioutil" "net/http" "os" "regexp" "strconv" "strings" ...
Go爬虫
lavoz的博客
04-25 2593
第一次接触Go, 写个小爬虫练习一下 由于平时用Python比较多, 不知道Go对比Python来说有什么区别呢 就拿贴吧来练习一下 package main import ( "fmt" "net/http" "io/ioutil" "github.com/PuerkitoBio/goquery" ) var a = 0 var url = "https://tieba.baidu...
go爬虫
qq_44981657的博客
08-01 495
思路 1、明确要爬取的网站和信息 2、爬取网站得到全部信息 3、提取出有用的信息 4、进行保存，或者进一步爬取信息 代码 可以使用get和post进行访问网站，以下是爬取网站信息的一个实例 package main import ( "fmt" "strconv" "net/http" "regexp" "os" ) /* 这是一个爬虫的实战练习 爬取https://duanziwang.com/网站的有用信息 并按照分页来使用go协程 */ //进行网页爬取 func WormWork
爬虫从入门到精通(6) | 爬虫解析包lxml
不愿意透露姓名的网友
10-30 1359
xml称为可拓展性标记语言xml具有自描述特性，是一种半结构化数据XML 是一种标记语言，很类似 HTMLXML 的设计宗旨是传输数据，而非显示数据XML 的标签需要我们自行定义。XML 是 W3C 的推荐标准Xath (XML Path Language) 是一种语法，用来提取xml或者html内容的语法。这里的元素和html中的标签一个意思。单独的元素是无法表达一个路径的，所以单独的元素不能独立使用。
开始学习python爬虫，xml.dom模块解析xml
qq_39291784的博客
09-24 421
1.什么是xml？ xml即可扩展标记语言，它可以用来标记数据、定义数据类型，是一种允许用户对自己的标记语言进行定义的源语言。 .我们举个栗子： Harry Potter 29.99 Learning XML 39.95 我们看格式很像html，但是xml比html格式严谨，并且html用来展示数据，xml用于传输和存储数据。 那么它有如下特征：
写个Go爬虫
shelgi的博客
05-28 4299
文章目录前言正文1.python版本代码2.go基础版本3.go进阶版本最后 前言 很久没写什么代码，除了应付学校的期末大作业，一直都浑浑噩噩的，然后今天看到了Go语言的爬虫，好像还挺有趣的手痒痒。不过好久没写go了，还是花了一点时间来回忆的。 正文 写了两段代码，打算比较一下python和go的爬虫速度 目标网站： 性感美女图 其实原准备爬取豆瓣250,可是实力确实太菜，一开始用go爬取忘记添加请求头，直接被封ip了，没办法选择了这个反爬措施比较少的网站。然后主要比较速度，所以只爬取了标题，没有获取图片
网络爬虫——GO
weixin_52001449的博客
03-19 6568
这里写目录标题go-colly网络爬虫框架goquery HTML解析goquery主要的结构怎么使用goquery常用选择器 go-colly网络爬虫框架 go-colly是用Go实现的网络爬虫框架。go-colly快速优雅，在单核上每秒可以发起1K以上请求；以回调函数的形式提供了一组接口，可以实现任意类型的爬虫。 Colly 特性： 清晰的API 快速（单个内核上的请求数大于1k） 管理每个域的请求延迟和最大并发数 自动cookie 和会话处理 同步/异步/并行抓取 高速缓存 自动处理非Unicode
python爬虫生成xml
最新发布
04-24
当需要爬取网页数据并生成XML格式文件时，可以使用Python中的一些库来实现。以下是一种常用的方法： 1. 首先，你需要安装并导入`requests`库来发送HTTP请求，以获取网页内容。可以使用以下命令来安装： ``` pip install requests ``` 2. 接下来，你需要安装并导入`beautifulsoup4`库来解析HTML或XML文档，提取所需数据。可以使用以下命令来安装： ``` pip install beautifulsoup4 ``` 3. 然后，你可以使用`requests`库发送GET或POST请求获取网页内容。例如，使用`requests.get()`方法发送GET请求： ```python import requests url = "http://example.com" # 替换为你要爬取的网页URL response = requests.get(url) content = response.text # 获取网页内容 ``` 4. 接下来，你可以使用`beautifulsoup4`库解析网页内容，并提取所需的数据。例如，使用`BeautifulSoup`类解析HTML或XML文档： ```python from bs4 import BeautifulSoup soup = BeautifulSoup(content, "html.parser") # 解析HTML或XML文档 # 提取所需的数据 data = soup.find("div", {"class": "example"}) ``` 5. 最后，你可以使用Python内置的`xml.etree.ElementTree`模块创建XML文件，并将提取到的数据写入XML文件中。例如： ```python import xml.etree.ElementTree as ET root = ET.Element("root") # 创建根节点 child = ET.SubElement(root, "child") # 创建子节点 child.text = data.text # 设置节点文本 tree = ET.ElementTree(root) # 创建ElementTree对象 tree.write("data.xml", encoding="utf-8", xml_declaration=True) # 将数据写入XML文件 ``` 以上就是使用Python爬虫生成XML文件的基本流程。你可以根据自己的需求对代码进行修改和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值