"""
百度贴吧数据抓取:
要求:
1、输入百度贴吧的名称
2、输入抓取的起始页和终止页
3、把每一页的内容保存到本地:第一页.html、第二页.html
"""
"""
步骤:
1、找URL的规律(拼接URL)
# http://tieba.baidu.com/f?kw=搜索&pn
第一页 pn=0
第二页 pn=50
第三页 pn=100
第 n页 pn=(n-1)*50
url中关键的两个参数:
1、kw: 搜索关键字
2、pn: 帖子的数量 每页50条
2、获取响应内容
3、再保存到本地/数据库
"""
# http://tieba.baidu.com/f?kw=
import urllib.request
import urllib.parse
#这是发送请求获取响应的函数
def zhixing(urls):
headers = {"User-Agent":
"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"}
request = urllib.request.Request(urls, headers=headers)
response = urllib.request.urlopen(request)
html = response.read().decode("utf-8")
return html
def save(page,html):
with open("第%d页.html" % page, 'w', encoding="utf-8") as f:
print("正在写入第%d页" % page)
f.write(html)
f.close()
print("第%d页写入完成" % page)
# f = open("第%d页.html"%page, 'w', encoding="utf-8")
# print("正在写入第%d页"%page)
# f.write(html)
# f.close()
# print("第%d页写入完成"%page)
def main():
url = "http://tieba.baidu.com/f?"
name = input("请输入要贴吧名称:")
begin = int(input("请输入要看的起始页:"))
end = int(input("请输入要看的终止页:"))
for page in range(begin,end+1):
page1 = (page-1)*50
dic = {"kw":name,
"pn":page1}
dic = urllib.parse.urlencode(dic)
urls = url + dic
html = zhixing(urls)
print(urls)
save(page,html)
if __name__ == "__main__":
main()
Python 爬虫技术,百度贴吧数据抓取,网页
最新推荐文章于 2021-11-21 19:27:01 发布