![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
pyStar_公众号
做技术,要胆大心细
展开
-
爬虫简介及实现一个简单的爬虫Demo
什么是爬虫? 简单的说就是:一段自动抓取互联网信息的程序爬虫技术价值: 我们可以利用互联网中的数据进行学习、爬取有价值的数据做成产品,可以赚钱,反正就是只要不犯法,干什么事随你。一句话:互联网数据,为我所用!简单爬虫架构:运行流程:URL管理器: 管理待抓取URL集合和已经抓取URL集合 -- 防止重复抓取,防止循环抓取class UrlManager(object...原创 2018-06-19 15:45:51 · 2407 阅读 · 0 评论 -
Beautifulsoup
文中示例均使用下面的文档:html_doc = """ <html><head><title>The Dormouse's story</title></head> <body> <p class="title"><b>The Dormo原创 2018-06-20 17:16:43 · 296 阅读 · 0 评论