现在能在网上找到很多很多的学习资源,有免费的也有收费的,当我拿到1套比较全的学习资源之前,我并没着急去看第1节,我而是去审视这套资源是否值得学习,有时候也会去问一些学长的意见,如果可以之后,我会对这套学习资源做1个学习计划,我的学习计划主要包括规划图和学习进度表。
分享给大家这份我薅到的免费视频资料,质量还不错,大家可以跟着学习
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
今天我们需要爬取的网站是:http://www.bbsnet.com/doutu
下面是网站的首页:
可以看见,这个网站的特点是,一个图片是一系列图片的集合,因此我们需要先获取每一个图片的地址,然后跳转进去才能获取里面真正的图片。
接下来我们首先获取第一页的图片地址,一般来说,第一页与其他页的差别就在于url的一些小差别,因此,搞定第一页等于搞定所有。
下面开始盘它。
补充:我们下面使用requets库请求和xpath来解析(附赠正则解析方法)
二、分析与编写代码:
1.第一步导入库:
#导包
from lxml import etree
import requests
import re
import time
2.第二步写出大体框架:
这里我们还是采用面向对象来写,因为这样后期如果要改为多线程还是挺容易的。
class MySpider(object):
def init(self):
#显然我们需要最基础的headers信息
self.headers = {
‘User-Agent’:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36’,
}
#其次我们需要url
self.url = ‘http://www.bbsnet.com/doutu’
def run(self):
#首先我们需要一个函数获取每一个url
target_urls = self.get_target_urls()
#其次我们需要去获取每一个url里面的图片
self.get_target_images(target_urls)
def get_target_urls(self):
‘’‘这里我们使用一个东西,比如列表等来存储url的结果并返回’‘’
pass
def get_target_images(self,target_urls):
‘’‘这里我们需要接收之前获取的url,所以需要一个参数’‘’
pass
if name == ‘main’:
spider = MySpider()
spider.run()
显然上面的代码跟我们的思路一模一样,是不是so easy。
3.第三步完成第一个函数 – get_target_urls():
首先按照惯例,写下以下代码:
response = requests.get(self.url,headers=self.headers)
print(response.content.decode(‘utf-8’))
首先,分享下为什么有的时候我们对于文本要decode(‘utf-8’),而有时候对于文本需要decode(‘gbk’),这是根据网页源代码的编码形式来写的,比如这个网站的源代码如下:
但是,尝试运行了下,发现以下错误:
UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\u2009’ in position 424: illegal multibyte sequence
这个意思是说,这个网页存在一些字符是utf-8无法解码的,这是很正常的,毕竟有些神奇的字符,是utf-8无法表示的。
但是,大家不必紧张,这并不影响我们写代码。于是我们就这样吧,不解码了,直接以二进制的形式存储它,因为它并不影响我们去获取我们需要的链接。
于是写下这样代码:
response = requests.get(self.url,headers=self.headers)
text = response.content
好的,下面我们开始解析网页:
可以得到以下结果:
下面我们使用xpath来解析这个html代码,我们首先如上图定位a标签,显然这个a标签在h2标签里面,且这个h2标签里面只有这么一个a标签,所以十分容易获取,代码如下:
html = etree.HTML(text)
target_urls = html.xpath(‘//h2/a/@href’)
print(target_urls)
下面是尝试打印的结果(部分):
[‘http://www.bbsnet.com/aoteman.html’, ‘http://www.bbsnet.com/jieqian.html’, ‘http://www.bbsnet.com/youxitu.html’, ‘http://www.bbsnet.com/liaotian-3.html’,…]
好的,至此,这个函数就完成了,是不是十分简单。该函数代码如下:
def get_target_urls(self):
response = requests.get(self.url,headers=self.headers)
text = response.content
html = etree.HTML(text)
target_urls = html.xpath(‘//h2/a/@href’)
return target_urls
4.第四步完成第二个函数 --get_target_images():
老套路,写下下面的代码:
for url in target_urls:
response = requests.get(url,headers=self.headers)
text = response.content.decode(‘utf-8’)
print(text)
#这里强烈建议加上break测试
break
于是,得到下面的结果:
好吧,显然这并不是我们需要的结果,那这是什么呢?这段代码(html代码)会自动把我们重定向到首页,这样我们显然获取不成功,于是,我们怎么办呢?在访问一次就可以了,我们仅需要在加上一次请求即可获取所需的html代码。如下:
for url in target_urls:
response = requests.get(url,headers=self.headers)
response = requests.get(url,headers=self.headers)
text = response.content
#这里同上面,不解码,直接解析,原因同上
print(text)
break
结果如下(部分结果):
b’\r\n\r\n\r\n\r\n\r\n…
好的,解决了这个大麻烦,我们下面的工作就很简单了。
可以得到以下内容:
我们需要获取img标签里面的src属性,仅需获取div标签下的p标签下的img标签即可。下面是代码:
for url in target_urls:
response = requests.get(url,headers=self.headers)
time.sleep(2) #一定要加上,不然会访问太快会被禁止的
response = requests.get(url,headers=self.headers)
text = response.content
#开始解析
html = etree.HTML(text)
target_images = html.xpath(‘//div[@id=“post_content”]//p//img/@src’)
print(target_images)
break
部分结果如下:
[‘http://wx1.sinaimg.cn/mw690/6a04b428ly1g19akwia0rg209b09qwgf.gif’, ‘http://wx1.sinaimg.cn/mw690/6a04b428ly1g19al1td90g209q08sq4i.gif’,…]
好的,我们仅仅剩最后一步,下载图片,这里我给出两者方式:
方式一:使用urllib库里的urlretrieve()函数,代码如下:
#该段代码添加至获得target_images后面
#大家使用这个方法的话,一定要记得导入库:from urllib import request
for image_url in target_images:
request.urlretrieve(image_url,‘./info/test.gif’)
break
方式二:获取链接的源代码后保存至本地,代码如下:
#该段代码添加至获得target_images后面
for image_url in target_images:
response = requests.get(image_url,headers=self.headers)
f = open(‘./info/test.gif’,‘wb’)
f.write(response.content)
f.close()
break
两者的结果都如下:
ok,到此处,恭喜大家,已经完成了99%的任务了。下面就是完善和补充一些代码了。
此函数完整代码如下:
def get_target_images(self,target_urls):
for url in target_urls:
response = requests.get(url,headers=self.headers)
time.sleep(2)
response = requests.get(url,headers=self.headers)
text = response.content
html = etree.HTML(text)
target_images =html.xpath(‘//div[@id=“post_content”]//p//img/@src’)
for image_url in target_images:
request.urlretrieve(image_url,‘./info/test.gif’)
break
break
#建议大家测试的时候,加上break,如果有基础的可以考虑代理或者多线程
5.第五步优化与完善:
一个优秀的人,总是想写出点优秀的代码,所以优化必不可少
1.优化角度一:文件存储的优化:
学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!
一、Python所有方向的学习路线
Python所有方向路线就是把Python常用的技术点做整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
二、学习软件
工欲善其事必先利其器。学习Python常用的开发软件都在这里了,给大家节省了很多时间。
三、全套PDF电子书
书籍的好处就在于权威和体系健全,刚开始学习的时候你可以只看视频或者听某个人讲课,但等你学完之后,你觉得你掌握了,这时候建议还是得去看一下书籍,看权威技术书籍也是每个程序员必经之路。
四、入门学习视频
我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了。
五、实战案例
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
六、面试资料
我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!