python爬取百度标题_python--输入检索词自动爬取百度搜索页标题信息

1 import urllib.request

2 import re

3

4def get_html_text(url,data_lst,depth): 5

7 for i in range(depth):

8

9 # 根据分析构造网址

10 url_kw = url + '&pn=' + str(i*10) #切记：这里不能使用'i*10'来表示，如果那样的话将无法将i通过for循环传递参数。

11

12 # 获取每页的网页数据

13 data = urllib.request.urlopen(url_kw).read().decode('utf-8', 'ignore')

14

15 # 测试代码：print(len(data))

16 print('正在爬取第',str(i+1),'页网页信息')

17

18 # 构造正则表达式，提取目标信息

19 html_title_pat = '"title":"(.*?)"'

20 title_info = re.compile(html_title_pat, re.S).findall(data)

21 # 测试代码：print(len(title_info))

22 for i in range(0,len(title_info)):

23 print('第'+str(i+1) + '条网页标题:' + str(title_info[i]))

24 print('-'*20)

25 data_lst.append(title_info[i])

26

27

28def main():29 keyword = input('请输入要检索的关键词：')

30

31 # #对关键词进行编码，因为URL中需要对中文等进行处理.

32 # 我们平时输入网址的时候有汉字是因为搜索框会自动解析汉字，但是python不会，所以我们需要对关键词进行编码。

33 key_code = urllib.request.quote(keyword) # 对关键词编码

34

35 url = 'http://www.baidu.com/s?&ie=utf-8&wd='+ key_code

36 depth = 5 # 爬取网页的深度，可以自行设置

37 data_lst = list()

38 get_html_text(url,data_lst,depth)

39

# 保存到本地路径

40 with open('baidu_keyword.txt', 'a', encoding='utf-8') as f:

41 data_raw = [str(i) for i in data_lst] #使用列表推导式保证列表内的每个元素都是字符串，因为文件写入时要求每个元素都是字符串格式。

42 #data_content = ' '.join(data_raw)

43 for i in data_raw:

44 f.write(i+'\n') #‘\n’写入一条信息就进行换行，使爬取的数据规整

45

46

47 if __name__ == '__main__':

48 main()

标签：检索,info,title,python,爬取,url,lst,print,data

来源： https://www.cnblogs.com/summer1019/p/10373935.html