python爬虫的学习

Python爬虫学习

1、什么是爬虫？
网络爬虫是可以按照一定规则，根据用户需求，自动抓取互联网上用户所需要的信息的程序或脚本。
2、爬虫的作用？
能通过浏览器访问的数据都能通过爬虫获取。
3、爬虫本质？
模仿浏览器打开网址，获取网址中我们需要的数据。

Python对网页访问首先需要引入urllib.request

urllib中有 urllib.request.urlopen(str) 方法用于打开网页并返回一个对象，调用这个对象的read()方法后能直接获得网页的源代码，内容与浏览器右键查看源码的内容一样。

print(chardet.detect(htmlCode))

import urllib.request
import chardet
import re
 
page = urllib.request.urlopen('http://www.meituba.com/tag/juesemeinv.html') #打开网页
htmlCode = page.read() #获取网页源代码
 
#print(chardet.detect(htmlCode)) #查看编码方式
data = htmlCode.decode('utf-8')
#print(data) #打印网页源代码
 
#pageFile = open('pageCode.txt','wb')#以写的方式打开pageCode.txt
#pageFile.write(htmlCode)#写入
#pageFile.close()#开了记得关
 
reg = r'src="(.+?\.jpg)"'#正则表达式
reg_img = re.compile(reg)#编译一下，运行更快
imglist = reg_img.findall(data)#进行匹配
for img in imglist:
    print(img)

转载原著 添加链接描述

总结：
我是一个Python爬虫小白，由于对他比较感兴趣，所以就开始学习。我是从一些软件中找寻视频学习的，或者从网站上搜索一些相关知识。刚开始学有点懵，看不懂，但是慢慢来，学习任何东西都需要一个过程，在这个过程中只要努力，总会有所成就。