感谢每一个认真阅读我文章的人,看着粉丝一路的上涨和关注,礼尚往来总是要有的:
① 2000多本Python电子书(主流和经典的书籍应该都有了)
② Python标准库资料(最全中文版)
③ 项目源码(四五十个有趣且经典的练手项目及源码)
④ Python基础入门、爬虫、web开发、大数据分析方面的视频(适合小白学习)
⑤ Python学习路线图(告别不入流的学习)
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
这里的请求其实也是要用多线程爬取的,所有后续会补上!
#### 1.2.4 数据保存 (单线程)
for i, img in enumerate(allImageList[:102]):
print(f"正在保存第{i + 1}张图片 路径:{img}“)
resp = requests.get(img)
with open(f’./image/{img.split(”/")[-1]}', ‘wb’) as f: # 保存到这个image路径下
f.write(resp.content)
![image-20211027110644257](https://img-blog.csdnimg.cn/img_convert/2f5487e058c565e762862e1c3f6353c3.png)
#### 1.2.4 数据保存 (多线程)
* 引入多进程模块
import threading
多线程
def download_imgs(imgList,limit):
threads = []
T = [
threading.Thread(target = download, args=(url,i))
for i, url in enumerate(imgList[:limit + 1])
]
for t in T:
t.start()
threads.append(t)
return threads
* 编写下载函数
def download(img_url,name):
resp = requests.get(img_url)
try:
resp = requests.get(img_url)
with open(f’./images/{name}.jpg’, ‘wb’) as f:
f.write(resp.content)
except Exception as e:
print(f"下载失败: {name} {img_url} -> {e}“)
else:
print(f"下载完成: {name} {img_url}”)
就很随机
![image-20211027110955637](https://img-blog.csdnimg.cn/img_convert/ae6680f0c4d4f7f043a87d63eec9602d.png)
## 实验 2
### 2.1 题目
>
> 使用scrapy框架复现作业①
>
>
>
### 2.2 思路
#### 2.2.1 setting.py
* 解除限制
ROBOTSTXT_OBEY = False
* 设置保存图片的路径
IMAGES_STORE = r’.\images’ # 保存文件的路径
* 打开pipelines
ITEM_PIPELINES = {
‘weatherSpider.pipelines.WeatherspiderPipeline’: 300,
}
* 设置请求头
DEFAULT_REQUEST_HEADERS = {
‘Accept’: ‘text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8’,
‘Accept-Language’: ‘en’,
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.16 Safari/537.36’,
}
#### 2.2.2 item.py
* 设置要爬取的字段
class WeatherspiderItem(scrapy.Item):
number = scrapy.Field()
pic_url = scrapy.Field()
#### 2.2.3 wt\_Spider.py
* 发送请求
def start\_requests(self):
yield scrapy.Request(self.start_url, callback=self.parse)
* 获取页面所有的`a标签`
def parse(self, response):
html = response.text
urlList = re.findall('<a href="(.\*?)" ', html, re.S)
for url in urlList:
self.url = url
try:
yield scrapy.Request(self.url, callback=self.picParse)
except Exception as e:
print("err:", e)
pass
* 再次请求所有的a标签下面的网址,再找所有的图片返回
def picParse(self, response):
imgList = re.findall(r'<img.\*?src="(.\*?)"', response.text, re.S)
for k in imgList:
if self.total > 102:
return
try:
item = WeatherspiderItem()
item['pic\_url'] = k
item['number'] = self.total
self.total += 1
yield item
except Exception as e:
pass
* 那么与存入数据库类似,`数据处理`全部都应该在`pipelines.py`中处理,也就是说,pipelines还是要发送请求
#### 2.2.4 pipelines.py
* 导入setting信息
from weatherSpider.settings import IMAGES_STORE as images_store # 读取配置文件的信息
from scrapy.pipelines.images import ImagesPipeline
settings = get_project_settings()
* 编写保存函数
def get\_media\_requests(self, item, info):
image_url = item["pic\_url"]
yield Request(image_url)
* 这里优化的话,应该保存文件的时候重命名会好一点!
![image-20211027111759905](https://img-blog.csdnimg.cn/img_convert/0bd71a963f28c63c392fc1573816885e.png)
## 实验 3
### 3.1 题目
>
> 爬取豆瓣电影数据使用scrapy和xpath,并将内容存储到数据库,同时将图片存储在 imgs路径下。
>
>
>
### 3.2 思路
#### 3.2.1 setting.py
* 解除限制
ROBOTSTXT_OBEY = False
* 数据库配置
HOSTNAME = ‘127.0.0.1’
PORT = 3306
DATABASE = ‘scrapy_douban’
USERNAME = ‘root’
PASSWORD = ‘root’
* 请求头
DEFAULT_REQUEST_HEADERS = {
‘Accept’: ‘text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8’,
‘Accept-Language’: ‘en’,
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.16 Safari/537.36’,}
* 开启pipelines
ITEM_PIPELINES = {
‘doubanSpider.pipelines.DoubanspiderPipeline’: 300,
}
#### 3.2.2 item.py
* 定义爬取的内容字段
class DoubanspiderItem(scrapy.Item):
number = scrapy.Field()
name = scrapy.Field()
direct = scrapy.Field()
actor = scrapy.Field()
info = scrapy.Field()
score = scrapy.Field()
movie_img = scrapy.Field()
#### 3.2.3 db\_Spider.py
* 观察网页,发现翻页规律
第二页
![image-20211027112213118](https://img-blog.csdnimg.cn/img_convert/565a895155a8a057cae4fd30e39731ec.png)
第三页
![image-20211027112230597](https://img-blog.csdnimg.cn/img_convert/bb36212640d21a2ac7796db3d2619542.png)
所以我们就看到规律了!
* 初始信息
page = 0
start_url = 'https://movie.douban.com/top250'
next_url = 'https://movie.douban.com/top250?start=%s&filter='
* 爬取信息
lis = response.xpath('//\*[@id="content"]/div/div[1]/ol/li')
for k in lis:
number = k.xpath('div/div[1]/em/text()').extract()
title = k.xpath('div/div[2]/div[1]/a/span[1]/text()').extract()
directT = k.xpath('div/div[2]/div[2]/p[1]/text()').extract()
score = k.xpath('div/div[2]/div[2]/div/span[2]/text()').extract()
info = k.xpath('div/div[2]/div[2]/p[2]/span/text()').extract()
img_url = k.xpath('div/div[1]/a/img/@src').extract()
tmp = directT[0].split("主演:")
* 错误处理
这里有两个地方需要处理
1. 导演和演员
![image-20211027112545181](https://img-blog.csdnimg.cn/img_convert/dac5bb1ca2419554a97f1a7b4b516e18.png)
我是按照字符串分割进行选择这个`导演`和`主演`的!所有可能只出现`主`这个字的情况
所有进行以下处理
tmp = directT[0].split("主演:")
if len(tmp) < 2:
dt = tmp[0].split("导演:")
dt = dt[1]
ar = ""
else:
dt = tmp[0].split("导演:")
dt = dt[1]
ar = tmp[1]
2. 另外我发现有一些的简介是没有的!
![image-20211027112834906](https://img-blog.csdnimg.cn/img_convert/833e744752ba775a21bcd04a691bd11e.png)
做了那么多年开发,自学了很多门编程语言,我很明白学习资源对于学一门新语言的重要性,这些年也收藏了不少的Python干货,对我来说这些东西确实已经用不到了,但对于准备自学Python的人来说,或许它就是一个宝藏,可以给你省去很多的时间和精力。
别在网上瞎学了,我最近也做了一些资源的更新,只要你是我的粉丝,这期福利你都可拿走。
我先来介绍一下这些东西怎么用,文末抱走。
* * *
**(1)Python所有方向的学习路线(新版)**
这是我花了几天的时间去把Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
最近我才对这些路线做了一下新的更新,知识体系更全面了。
![在这里插入图片描述](https://img-blog.csdnimg.cn/8fc093dcfa1f476694c574db1242c05b.png)
**(2)Python学习视频**
包含了Python入门、爬虫、数据分析和web开发的学习视频,总共100多个,虽然没有那么全面,但是对于入门来说是没问题的,学完这些之后,你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。
![在这里插入图片描述](https://img-blog.csdnimg.cn/d66e3ad5592f4cdcb197de0dc0438ec5.png#pic_center)
**(3)100多个练手项目**
我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了,只是里面的项目比较多,水平也是参差不齐,大家可以挑自己能做的项目去练练。
![在这里插入图片描述](https://img-blog.csdnimg.cn/f5aeb4050ab547cf90b1a028d1aacb1d.png#pic_center)
**(4)200多本电子书**
这些年我也收藏了很多电子书,大概200多本,有时候带实体书不方便的话,我就会去打开电子书看看,书籍可不一定比视频教程差,尤其是权威的技术书籍。
基本上主流的和经典的都有,这里我就不放图了,版权问题,个人看看是没有问题的。
**(5)Python知识点汇总**
知识点汇总有点像学习路线,但与学习路线不同的点就在于,知识点汇总更为细致,里面包含了对具体知识点的简单说明,而我们的学习路线则更为抽象和简单,只是为了方便大家只是某个领域你应该学习哪些技术栈。
![在这里插入图片描述](https://img-blog.csdnimg.cn/c741a91b05a542ba9dc8abf2f2f4b1af.png)
**(6)其他资料**
还有其他的一些东西,比如说我自己出的Python入门图文类教程,没有电脑的时候用手机也可以学习知识,学会了理论之后再去敲代码实践验证,还有Python中文版的库资料、MySQL和HTML标签大全等等,这些都是可以送给粉丝们的东西。
![在这里插入图片描述](https://img-blog.csdnimg.cn/9fa77af248b84885a6ec779b2ead064d.png)
**这些都不是什么非常值钱的东西,但对于没有资源或者资源不是很好的学习者来说确实很不错,你要是用得到的话都可以直接抱走,关注过我的人都知道,这些都是可以拿到的。**
**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**
**[需要这份系统化学习资料的朋友,可以戳这里获取](https://bbs.csdn.net/forums/4304bb5a486d4c3ab8389e65ecb71ac0)**
**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**