Python进阶篇：Python简单爬虫

最新推荐文章于 2024-08-24 18:26:29 发布
最新推荐文章于 2024-08-24 18:26:29 发布
阅读量118 收藏
点赞数
文章标签： 爬虫 python
原文链接：http://www.cnblogs.com/benchen/p/6111840.html
版权

目录

  • 前言
  • 要解决的问题
  • 设计方案
  • 代码说明
  • 小结

 

 

前言

 

前一段一直在打基础，已经学习了变量，流程控制，循环，函数这几块的知识点，就想通过写写小程序来实践一下，来加深知识点的记忆和理解。首先考虑的就是爬虫啦，一直很崇拜爬虫大师，特别想能够学习一些爬虫技术，去淘宝上爬爬数据，说不定什么时候可以使用数据进行一些分析，比如哪天自己也开了个小店啥的~~。为了能够开始起步， 我看了一些视频，查阅了一些资料，起步阶段就不用那些很牛逼的框架了，主要是想通过基本的爬虫来了解爬虫的基本概念和思路。

 

要解决的问题

查阅百度百科的某个关键词以及相关联的关键词的集合。这是一个比较有意义的事情，通过这样的数据能更好的理解相关的生态圈。比如我查阅“分布式计算”  http://baike.baidu.com/item/%E5%88%86%E5%B8%83%E5%BC%8F%E8%AE%A1%E7%AE%97/85448 文章里面含有很多的有链接的关键词，就这样不断的迭代去爬这些链接的关键词的文章内的关键词。

设计方案

爬虫含有5个组成部分：主程序，URL管理器，HTML下载器，HTML解析器，结果展示器

主程序：调度其他的部件的执行，并作为主程序入口来执行代码

URL管理器： 管理URL的集合以及状态 - 未下载的URL，已下载的URL，添加新的URL，去除已现在的URL

HTML下载器： 下载URL对应的HTML

HTML解析器： 解析下载下来的HTML，取出有用的数据

结果展示器： 组织最终生成的数据，并展示或者存储起来

 

代码说明
  • 代码组织架构

  •  代码展示
部件名称程序名称代码
主程序SpiderMain.py 
from Spider import UrlManager,HtmlDownloader,HtmlParser,HtmlOutputer

class Spider(object):

    def __init__(self):
        self.urlmanager = UrlManager.Manager()
        self.htmldownloader = HtmlDownloader.Downloader()
        self.htmlparser = HtmlParser.Parser()
        self.htmloutputer = HtmlOutputer.Outputer()


    def scrpy(self, root_url):
        self.urlmanager.add_new_urls(root_url)
        count = 1
        while(self.urlmanager.has_new_url()):
            if(count>10):
                break

            curr_url = self.urlmanager.get_new_url()
            html_content = self.htmldownloader.load(curr_url)
            print("No.%d Downloading URL %s" % (count, curr_url))
            word,new_urls,lemmasummary = self.htmlparser.parse(curr_url,html_content)
            data={}
            data['word']=word
            data['curr_url']=curr_url
            data['lemmasummary']=lemmasummary
            self.htmloutputer.collect(data)
            self.urlmanager.add_new_urls(new_urls)
            count = count + 1
        self.htmloutputer.genhtml()



if(__name__=='__main__'):
    root_url = "http://baike.baidu.com/item/%E5%88%86%E5%B8%83%E5%BC%8F%E8%AE%A1%E7%AE%97/85448"
    spider = Spider()
    spider.scrpy({root_url})

 

URL管理器UrlManager.py 
class Manager(object):
    def __init__(self):
        self.old_urls=set()
        self.new_urls=set()

    def add_new_urls(self, root_url):
        for url in root_url:
            if(root_url not in self.old_urls and  root_url not in self.new_urls):
                self.new_urls.add(url)

    def has_new_url(self):
        if(len(self.new_urls) > 0):
            return True
        else:
            return False

    def get_new_url(self):
        tmp=self.new_urls.pop()
        self.old_urls.add(tmp)
        return tmp
HTML下载器HtmlDownloader.py 
import urllib.request

class Downloader(object):
    def load(self, curr_url):
        html = urllib.request.urlopen(curr_url)
        return html.read().decode("UTF-8",'ignore')
HTML解析器HtmlParser.py 
import re
from urllib.parse import urljoin
from bs4 import BeautifulSoup

class Parser(object):
    def __init__(self):
        self.title = ''
        self.urls = set()
        self.lemmasummary = ''

    def parse(self, curr_url, html_content):
        soup = BeautifulSoup(html_content, 'html.parser',from_encoding="utf-8")
        soupurls=soup.find_all('a',href=re.compile(r'/view'))
        for url in soupurls:
           self.urls.add(urljoin(curr_url,url['href']))
        self.title = soup.title.string.split("_")[0]
        self.lemmasummary = soup.find('div',class_='lemma-summary')
        return self.title,self.urls,self.lemmasummary
结果展示器HtmlOutputer.py 
class Outputer(object):
    def __init__(self):
        self.table = []

    def collect(self, data):
        self.table.append(data)

    def genhtml(self):
        html = open('result.html','w')
        html.write("<html>")
        html.write("<head>")
        html.write("</head>")
        html.write("<body>")
        html.write("<table>")
        for data in self.table:
            html.write("<tr>")
            html.write("<td>%s</td>" % data['word'])
            html.write("<td>%s</td>" % data['curr_url'])
            html.write("<td>%s</td>" % data['lemmasummary'])
            html.write("</tr>")
        html.write("</table>")
        html.write("</body>")
        html.write("</html>")
        html.close()

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  •  最终的结果

 

小结

在上面的爬虫代码里面，主要体现了爬虫的几个部件之间的配合，以及每个部件的所引用的模块，比如urllib,bs4,re

 

 

转载于:https://www.cnblogs.com/benchen/p/6111840.html

baiba7240
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python 爬虫进阶：多线程与多进程实现策略
06-28
Python 是一种非常适合编写网络爬虫的编程语言，其简洁的语法和强大的库支持使得爬虫开发变得相对容易。然而，当面对需要处理大量数据或需要提高爬取效率的场景时，单线程的爬虫可能无法满足需求。这时，多线程或多...
Python爬虫框架Scrapy实例（一）
weixin_30699955的博客
10-05 219
目标任务：爬取腾讯社招信息，需要爬取的内容为：职位名称，职位的详情链接，职位类别，招聘人数，工作地点，发布时间。 一、创建Scrapy项目 scrapy startproject Tencent 命令执行后，会创建一个Tencent文件夹，结构如下 二、编写item文件，根据需要爬取的内容定义爬取字段 # -*- coding: utf-8 -*- import scr...
Python爬虫进阶：Scrapy框架教程
06-11
Python爬虫进阶教程 掌握了python爬虫基本理论和操作，本课程主要以讲授Scarpy框架来实现python爬虫进阶 该课程主要分享Python爬虫框架Scarpy的安装、使用、selector选择器的使用 spider的使用、itempipeline的使用...
Python网络爬虫进阶教程.pdf
08-06
9 网络爬虫进阶之 Selenium 篇 9.1 Selenium 简介 . . . . . . . . 9.1.1 Selenium 是什么 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 9.1.2 Selenium 特点 . . . . . . . . ....
Python爬虫入门到进阶：解锁网络数据的钥匙-Markdown材料.zip
05-23
Python爬虫入门到进阶：解锁网络数据的钥匙 在数字化时代，数据已成为最宝贵的资源之一。然而，如何获取这些数据，尤其是隐藏在网页背后的信息，成为了许多开发者、数据分析师和研究人员面临的挑战。现在，我们为你...
价值200元的Python精品课程：Python分布式爬虫与逆向进阶实战
08-18
本课程从 0 到 1 构建完整的爬虫知识体系，精选 20 + 案例，可接单级项目，应用热门爬虫框架 Scrapy、Selenium、多种验证码识别技术，JS 逆向破解层层突破反爬，带你从容抓取主流网站数据，掌握爬虫工程师硬核技能。
Python爬虫案例二：获取虎牙主播图片(动态网站)
m0_74614835的博客
08-19 1326
params不能写在__init__()里面，因为__init__()只执行一次，params是变化的。'iPageNo': '{}'.format(i), # i是字符串。print('ok 第{}张--{}'.format(self.no, name))1.异步数据（即先返回HTML，再返回目标的数据，只是触发了JSON请求），不在HTML中。os.mkdir('../虎牙')测试链接：https://live.huya.com/# 构造7页的params。2.不能刷新网页，直接翻页。
分享一个基于文本挖掘的微博舆情分析系统Python网络舆情监控系统Flask爬虫项目大数据（源码、调试、LW、开题、PPT）
m0_72599287的博客
08-24 921
本系统的开发旨在构建一个高效的微博舆情分析与监控平台，帮助企业、政府及相关机构实时了解社交媒体上的舆情动态。通过Scrapy爬虫技术自动化地采集微博中与特定舆情相关的数据，并将其存储到MySQL数据库中，以便后续的数据处理和分析。系统还集成了大屏可视化分析功能，通过Echarts展示微博数据的多维度统计信息，如评论、分享、点赞数量以及发布城市和舆情数量等，帮助用户直观地掌握舆情分布和发展态势，为及时应对突发事件和优化决策提供数据支持。
使用 Python 爬虫进行网站流量分析：Referer 头的利用
Z_suger7的博客
08-20 431
HTTP Referer 头是一个请求头字段，它记录了用户是从哪个页面链接到当前请求的页面。这个字段对于网站管理员来说是一个宝贵的资源，因为它可以帮助他们了解流量的来源和用户的行为模式。
webdriver 反爬虫 (selenium反爬虫) 绕过
guanxxx的博客
08-21 378
undetected_chromedriver 是一个防止浏览器指纹特征被识别的依赖库，使用 undetected_chromedriver.Chrome() 新建浏览器窗口，从而修改浏览器指纹特征。webdriver 属性是我们最常听到的，通过 webdriver 驱动浏览器就会包含这一属性，因此可用来辨别爬虫程序（可检测的属性远不止这一种）。因为 webdriver 属性置空 js 代码有更改，同时最好修改不止一个属性，因此直接使用开源分享的 js 代码比较方便。
python爬虫：selenium+browsermobproxy实现浏览器请求抓取（模块安装详解）
最新发布
我是你大爷
08-24 299
为了抓取所有，通过浏览器F12可以看到的资源（静态资源和接口调用），我使用了selenium+browsermobproxy的方案来处理。这里是模块的安装方案，如需源码则关注后篇博客。
打卡学习Python爬虫第五天|Xpath解析的使用
weixin_52687711的博客
08-22 960
Xpath是在XML文档中搜索内容的一门语言，HTML可以看作是xml的一个子集。
使用亮数据爬虫工具解锁复杂爬虫场景
分享Python、数据分析、人工智能前沿知识
08-20 1213
在当今数据驱动型时代，数据采集和分析能力算是个人和企业的核心竞争力。然而，手动采集数据耗时费力且效率低下，而且容易被网站封禁。我之前使用过一个爬虫工具，亮数据（Bright Data） ，是一款低代码爬虫平台，既有现成的爬虫解锁框架，还提供IP代理服务。亮数据基于全球代理IP网络和强大数据采集技术的解决方案，可帮助轻松采集各种网页数据，如产品信息、价格信息、评论信息、社交媒体数据等。
利用网络爬虫获取数据的刑事责任分析
Climbman的博客
08-21 898
（2017）京0108刑初2384号上海晟品网络科技有限公司、侯明强等非法获取计算机信息系统数据罪一案[1]中，行为人在没有获得授权的情况下，通过破解App的加密算法或API交互规则，使用伪造的设备ID绕过服务器的身份校验，使用伪造的UA、IP绕过服务器的访问频率设置等规避或突破系统技术保护措施的手段，突破权限许可获取数据，因而构成非法获取计算机信息系统数据罪。此外，还需强调的是，获取数据的结果同样影响罪与非罪，利用网络爬虫频繁访问目标数据服务器，导致服务器不能正常运行的，或还会涉及破坏计算机信息系统罪。
如何使用Web Scraper爬虫抓取数据？
分享Python、数据分析、人工智能前沿知识
08-20 507
Web Scraper是一个基于Chrome/火狐浏览器的插件，能够在网页上自动爬取数据，提供了丰富的配置，支持自动翻页、登录认证、JavaScript渲染等等，可以解决多数爬虫难题。安装好Web Scraper后，需要在开发者工具中使用它，按F12键打开开发者模式能找到Web Scraper功能区，在这里可以新建并配置爬虫，你也不需要写任何代码就能抓取数据。Web Scraper的安装也很简单，在Chrome应用商店里搜索“Web Scraper”，找到该插件并点击“添加至Chrome”按钮。
计算机毕业设计选题推荐-股票数据可视化分析与预测-Python爬虫
IT毕设梦工厂的博客
08-20 897
股票市场作为全球经济的晴雨表，其数据分析和预测对于投资者决策至关重要。根据相关数据，中国股民人数已超过1.7亿，显示出股票市场对广大投资者的吸引力。然而，面对海量的股票数据，如何有效进行分析和预测，成为投资者和金融分析师面临的一大挑战。传统的分析方法在处理大数据集时存在局限性，而人工智能和机器学习技术的发展为股票数据分析提供了新的解决方案。本课题旨在探索如何利用大数据和人工智能技术，提高股票数据的分析效率和预测准确性。本课题的研究目的在于开发一个基于大数据和人工智能技术的股票数据可视化分析与预测系统。
计算机相关法律法规及违规案例
Climbman的博客
08-21 822
根据《中华人民共和国刑法》第二百八十六条规定，对计算机信息系统功能进行删除、修改、增加、干扰，造成计算机信息系统不能正常运行，后果严重的，处五年以下有期徒刑或者拘役；后果特别严重的，处五年以上有期徒刑。违反国家规定，对计算机信息系统中存储、处理或者传输的数据和应用程序进行删除、修改、增加的操作，后果严重的，依照前款的规定处罚。故意制作、传播计算机病毒等破坏性程序，影响计算机系统正常运行，后果严重的，依照第一款的规定处罚。单位犯前三款罪的，对单位判处罚金，
主流短视频评论采集python爬虫（含一二级评论内容）
m0_56967679的博客
08-23 251
这样就拿到评论信息了，可以一级评论二级评论内容支持接口获取，软件获取，进行评论获取对应信息。评论采集更新需要登录，由于不懈的努力，攻破这一难点，不需要登录采集作品所有评论信息。仅用于学习交流，不用于其他用途。
移动端爬虫学习记录
qq_62714412的博客
08-23 779
本文从零开始安装模拟器和Fiddler抓包工具，然后配置模拟器和Fiddler,实现Fiddler能获取到模拟器的响应，最后以一个Fiddler抓包的案例结束本文
Python进阶实践：从理论到代码
文中提到了Python进阶的几个关键点，包括文件处理、小型项目实战（如网页爬虫）以及避免过度依赖书籍，提倡通过实践来学习。此外，还提供了一个统计字符串中字母出现次数的代码示例，展示了如何使用字典数据结构进行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值