python3.5不同于python2.7,在python3.5中,编写爬虫小程序,需要安装模块urllib下的request和parse类
小程序1:编写脚本,用来实现抓取百度贴吧指定页面
1 import urllib.parse #主要用来解析url
2 import urllib.request #主要用于打开和阅读url
3 importos,re4 import urllib.error #用于错误处理
5
6 print("模拟抓取百度贴吧python和java页面,并写入指定路径文件")7
8 deftieba_baidu(url,l):9 #伪装成浏览器
10 header={'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.235'}11 for i inrange(len(l)):12 file_name="G:/test/"+l[i]+".html"
13 print("正在下载"+l[i]+"页面,并保存为"+file_name)14 m=urllib.request.urlopen(url+l[i],headers=header).read()15 with open(file_name,"wb") as file:16 file.write(m)17
18 if __name__=="__main__":19 url="http://tieba.baidu.com/f?kw="
20 l_tieba=["python","java","c#"]21 tieba_baidu(url,l_tieba)
小程序二:爬取指定页面指定格式的文件(本例子爬取指定页面的jpg文件)
1 print("爬取指定页面的jp格式的文件")2 defbaidu_tieba(url,l):3 """
4 根据传入的地址和关键字列表进行图片抓取5 """
6 for i inrange(len(l)):7 count=1
8 file_name="G:/test/"+l[i]+".html"
9 print("正在下载"+l[i]+"页面,并保存为"+file_name)10 m=urllib.request.urlopen(url+l[i]).read()11 #创建目录保存每个网页上的图片
12 dirpath="G:/test/"
13 dirname=l[i]14 new_path=os.path.join(dirpath,dirname)15 if notos.path.isdir(new_path):16 os.makedirs(new_path)17
18 page_data=m.decode()19 page_image=re.compile('
20 for image in page_image.findall(page_data):#page_image.findall(page_data)用正则表达式匹配所有的图片
21 pattern=re.compile(r'http://.*.jpg$') #匹配jpg格式的文件
22 if pattern.match(image): #如果匹配,则获取图片信息,若不匹配,进行下一个页面的匹配
23 try:24 image_data=urllib.request.urlopen(image).read() #获取图片信息
25 image_path=dirpath+dirname+"/"+str(count)+".jpg" #给图片命名
26 count+=1
27 print(image_path) #打印图片路径
28 with open(image_path,"wb") as image_file:29 image_file.write(image_data) #将图片写入文件
30 excepturllib.error.URLError as e:31 print("Download failed")32 with open(file_name,"wb") as file: #将页面写入文件
33 file.write(m)34
35 if __name__=="__main__":36 url="http://tieba.baidu.com/f?kw="
37 l_tieba=["python","java","c#"]38 baidu_tieba(url,l_tieba)
注:
1、要爬取某个页面的文件,必须用urllib.request.urlopen打开页面的连接,并用read方法读取页面的html内容
2、要爬取某些具体内容,必须分析该页面对应的html代码,找到需爬取内容所在位置的标签,利用正则表达式获取标签
3、浏览器伪装:为了防止有些网站拒绝爬虫,我们需要伪装成浏览器来实现页面的爬取,即需要添加头部文件来伪装成浏览器
header={'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.235'}
4、规范:爬取的内容尽量写入到某个文件,如果直接打印在控制台,影响阅读效果;
5、致谢:上文小例子亲测通过,但具体思路借鉴某位大神,但是地址找不到了,无法分享给大家~