[Python]网络爬虫(六):一个简单的百度贴吧的小爬虫 Python 3.6 改写

# -*- coding: utf-8 -*-  
#---------------------------------------  
#   程序:百度贴吧爬虫  
#   版本:0.1  
#   作者:why  
#   日期:2013-05-14  
#   语言:Python 2.7  
#   操作:输入带分页的地址,去掉最后面的数字,设置一下起始页数和终点页数。  
#   功能:下载对应页码内的所有页面并存储为html文件。  
#---------------------------------------  

#   原文地址  http://blog.csdn.net/pleasecallmewhy/article/details/8927832   
#   源代码    Python 3.6  改写

import string, urllib.request  
   
#定义百度函数  
def baidu_tieba(url,begin_page,end_page):     
    for i in range(begin_page, end_page+1):  
        sName = str(i).zfill(5) + '.html'#自动填充成五位的文件名  
        print ('正在下载第' + str(i) + '个网页,并将其存储为' + sName + '......')  
        f = open(sName,'wb+')                      
        m = urllib.request.urlopen(url+str(i)) .read()
        f.write(m)  
        f.close()
     
#调用
bdurl = str(input('http://tieba.baidu.com/p/4626409650?pn= \n')) # 注意输入网址 
begin_page = int(input(u'请输入开始的页数:\n'))  
end_page = int(input(u'请输入终点的页数:\n'))  
baidu_tieba(bdurl,begin_page,end_page)



  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
### 回答1: 您好!为了学习python网络爬虫,您可以考虑以下几个方面: 1. 了解HTTP协议和HTML的基本知识,以了解网络爬虫的工作原理。 2. 使用Python的第三方库,如requests、Beautiful Soup和Scrapy等,来完成网络爬虫的实际操作。 3. 练习编写简单爬虫程序,如爬取网页内容、提取数据等。 4. 学习如何处理网络爬虫中的常见问题,如反爬虫、爬取限制等。 5. 学习如何使用数据库,如MySQL、MongoDB等,来存储爬取的数据。 希望这些信息对您有所帮助! ### 回答2: 学习Python网络爬虫需要理解以下几个基本概念和技术: 1. Python基础知识:首先要熟悉Python语言的基础知识,包括变量、数据类型、流程控制、函数、面向对象编程等。 2. 网络基础知识:了解HTTP请求和响应的基本原理,熟悉常见的网络协议和概念,如URL、HTTP头部、状态码等。 3. 正则表达式:学习使用正则表达式来匹配和提取网页中的特定信息,例如URL、文本内容等。 4. HTML和CSS基础:理解网页的基本结构和标签,能够使用CSS选择器来提取网页中的特定元素。 5. HTTP库:掌握使用Python的HTTP库,如requests或urllib,发送HTTP请求并处理响应。 6. HTML解析库:学习使用HTML解析库,如Beautiful Soup或lxml,解析HTML页面,提取所需的信息。 7. 数据存储:熟悉使用Python中的文件操作和数据库操作,将爬取到的数据保存到本地文件或数据库中。 8. 反爬虫策略:了解常见的反爬虫机制,学会使用字典、代理、用户代理和间隔时间等策略应对反爬虫措施。 9. 动态网页爬取:学习使用Selenium等工具,模拟浏览器行为,爬取动态网页中的数据。 10. 扩展知识:了解常见的爬虫框架,如Scrapy,学习使用框架提供的功能加快开发速度。 在学习过程中,可以通过查阅网上的教程、阅读相关书籍和参与相关的在线课程,逐步掌握这些知识和技能。同时,通过实践来提升自己的能力,逐渐熟悉爬虫的流程和调试技巧。记得不断积累经验和解决问题的能力,不断尝试新的爬虫项目,提高自己的技术水平。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值