推荐系统基础之介绍入门篇，Python开发岗还不会这些问题

| 流量分布 | 马太效应 | 长尾效应 |

| 目标 | 快速满足 | 持续服务 |

| 评估指标 | 简明 | 复杂 |

​

• 推荐系统的作用

• 高效连接用户和物品, 发现长尾商品

• 留住用户和内容生产者, 实现商业目标

• 推荐系统的工作原理

• 社会化推荐 向朋友咨询, 社会化推荐, 让好友给自己推荐物品

• 基于内容的推荐 打开搜索引擎, 输入自己喜欢的演员的名字, 然后看看返回结果中还有什么电影是自己没看过的

• 基于流行度的推荐 查看票房排行榜,

• 基于协同过滤的推荐 找到和自己历史兴趣相似的用户, 看看他们最近在看什么电影

• 推荐系统的应用场景 feed 流 信息流

• 

• 推荐系统和Web项目的区别

• 稳定的信息流通系统 V.S. 通过信息过滤实现目标提升

• web项目: 处理复杂逻辑 处理高并发 实现高可用 为用户提供稳定服务, 构建一个稳定的信息流通的服务

• 推荐系统: 追求指标增长, 留存率/阅读时间/GMV (Gross Merchandise Volume电商网站成交金额)/视频网站VV (Video View)

• 确定 V.S. 不确定思维

• web项目: 对结果有确定预期

• 推荐系统: 结果是概率问题

二、推荐系统设计

---

2.1 推荐系统要素

• UI 和 UE(前端界面)

• 数据 (Lambda架构)

• 业务知识

• 算法

2.2 推荐系统架构

• 推荐系统整体架构

• 大数据Lambda架构

• 由Twitter工程师Nathan Marz(storm项目发起人)提出

• Lambda系统架构提供了一个结合实时数据和Hadoop预先计算的数据环境和混合平台, 提供一个实时的数据视图

• 分层架构

• 批处理层

• 数据不可变, 可进行任何计算, 可水平扩展

• 高延迟 几分钟~几小时(计算量和数据量不同)

• 日志收集 Flume

• 分布式存储 Hadoop hdfs

• 分布式计算 Hadoop MapReduce & spark

• 视图存储数据库

• nosql(HBase/Cassandra)

• Redis/memcache

• MySQL

• 实时处理层

• 流式处理, 持续计算

• 存储和分析某个窗口期内的数据

• 最终正确性(Eventual accuracy)

• 实时数据收集 flume & kafka

• 实时数据分析 spark streaming/storm/flink

• 服务层

• 支持随机读

• 需要在非常短的时间内返回结果

• 读取批处理层和实时处理层结果并对其归并

• Lambda架构图

• 推荐算法架构

• 召回阶段(海选)

• 召回决定了最终推荐结果的天花板

• 常用算法:

• 协同过滤(基于用户 基于物品的)

• 基于内容 (根据用户行为总结出自己的偏好 根据偏好 通过文本挖掘技术找到内容上相似的商品)

• 基于隐语义

• 排序阶段

• 召回决定了最终推荐结果的天花板, 排序逼近这个极限, 决定了最终的推荐效果

• CTR预估 (点击率预估 使用LR算法) 估计用户是否会点击某个商品 需要用户的点击数据

• 策略调整

• 推荐系统的整体架构

三、推荐算法

---

• 推荐模型构建流程

• 推荐算法概述

• 基于协同过滤的推荐算法

• 协同过滤实现

一 推荐模型构建流程

Data(数据)->Features(特征)->ML Algorithm(机器学习算法)->Prediction Output(预测输出)

• 数据清洗/数据处理

• 数据来源

• 显性数据

• Rating 打分

• Comments 评论/评价

• 隐形数据

• Order history 历史订单

• Cart events 加购物车

• Page views 页面浏览

• Click-thru 点击

• Search log 搜索记录

• 数据量/数据能否满足要求

• 特征工程

• 从数据中筛选特征

• 一个给定的商品，可能被拥有类似品味或需求的用户购买

• 使用用户行为数据描述商品

• 用数据表示特征

• 将所有用户行为合并在一起 ，形成一个user-item 矩阵

• 选择合适的算法

• 产生推荐结果

二 最经典的推荐算法：协同过滤推荐算法（Collaborative Filtering）

算法思想：物以类聚，人以群分

基本的协同过滤推荐算法基于以下假设：

• “跟你喜好相似的人喜欢的东西你也很有可能喜欢” ：基于用户的协同过滤推荐（User-based CF）

• “跟你喜欢的东西相似的东西你也很有可能喜欢 ”：基于物品的协同过滤推荐（Item-based CF）

实现协同过滤推荐有以下几个步骤：

1. 找出最相似的人或物品：TOP-N相似的人或物品

通过计算两两的相似度来进行排序，即可找出TOP-N相似的人或物品

2. 根据相似的人或物品产生推荐结果

利用TOP-N结果生成初始推荐结果，然后过滤掉用户已经有过记录的物品或明确表示不感兴趣的物品

以下是一个简单的示例，数据集相当于一个用户对物品的购买记录表：打勾表示用户对物品的有购买记录

• 关于相似度计算这里先用一个简单的思想：如有两个同学X和Y，X同学爱好[足球、篮球、乒乓球]，Y同学爱好[网球、足球、篮球、羽毛球]，可见他们的共同爱好有2个，那么他们的相似度可以用：2/3 * 2/4 = 1/3 ≈ 0.33 来表示。

User-Based CF

Item-Based CF

通过前面两个demo，相信大家应该已经对协同过滤推荐算法的设计与实现有了比较清晰的认识。

三 相似度计算(Similarity Calculation)

• 相似度的计算方法

• 数据分类

• 实数值(物品评分情况)

• 布尔值(用户的行为 是否点击 是否收藏)

• 欧氏距离, 是一个欧式空间下度量距离的方法. 两个物体, 都在同一个空间下表示为两个点, 假如叫做p,q, 分别都是n个坐标, 那么欧式距离就是衡量这两个点之间的距离. 欧氏距离不适用于布尔向量之间

欧氏距离的值是一个非负数, 最大值正无穷, 通常计算相似度的结果希望是[-1,1]或[0,1]之间,一般可以使用

如下转化公式:

• 杰卡德相似度&余弦相似度&皮尔逊相关系数

• 余弦相似度

• 度量的是两个向量之间的夹角, 用夹角的余弦值来度量相似的情况

• 两个向量的夹角为0是,余弦值为1, 当夹角为90度是余弦值为0,为180度是余弦值为-1

• 余弦相似度在度量文本相似度, 用户相似度 物品相似度的时候较为常用

• 余弦相似度的特点, 与向量长度无关,余弦相似度计算要对向量长度归一化, 两个向量只要方向一致,无论程度强弱, 都可以视为’相似’

• 皮尔逊相关系数Pearson

• 实际上也是一种余弦相似度, 不过先对向量做了中心化, 向量a b 各自减去向量的均值后, 再计算余弦相似度

• 皮尔逊相似度计算结果在-1,1之间 -1表示负相关, 1表示正相关

• 度量两个变量是不是同增同减

• 皮尔逊相关系数度量的是两个变量的变化趋势是否一致, 不适合计算布尔值向量之间的相关度

• 杰卡德相似度 Jaccard

• 两个集合的交集元素个数在并集中所占的比例, 非常适用于布尔向量表示

• 分子是两个布尔向量做点积计算, 得到的就是交集元素的个数

• 分母是两个布尔向量做或运算, 再求元素和

• 余弦相似度适合用户评分数据(实数值), 杰卡德相似度适用于隐式反馈数据(0,1布尔值)(是否收藏,是否点击,是否加购物车)

• 余弦相似度

• 皮尔逊相关系数

• 计算出用户1和其它用户之间的相似度

• 按照相似度大小排序, K近邻 如K取4:

• 取出近邻用户的购物清单

• 去除用户1已经购买过的商品

• 在剩余的物品中根据评分排序

• 物品相似度计算

• 余弦相似度对绝对值大小不敏感带来的问题

• 用户A对两部电影评分分别是1分和2分, 用户B对同样这两部电影进行评分是4分,5分 用余弦相似度计算,两个用户的相似度达到0.98

• 可以采用改进的余弦相似度, 先计算向量每个维度上的均值, 然后每个向量在各个维度上都减去均值后,在计算余弦相似度, 用调整的余弦相似度计算得到的相似度是-0.1

• 物品相似度计算案例

• 找出物品1的相似商品

• 选择最近似的物品

• 基于用户与物品的协同过滤比较

协同过滤推荐算法代码实现：

• 构建数据集：

users = [“User1”, “User2”, “User3”, “User4”, “User5”]

items = [“Item A”, “Item B”, “Item C”, “Item D”, “Item E”]

构建数据集

datasets = [

[“buy”,None,“buy”,“buy”,None],

[“buy”,None,None,“buy”,“buy”],

[“buy”,None,“buy”,None,None],

[None,“buy”,None,“buy”,“buy”],

[“buy”,“buy”,“buy”,None,“buy”],

]

• 计算时我们数据通常都需要对数据进行处理，或者编码，目的是为了便于我们对数据进行运算处理，比如这里是比较简单的情形，我们用1、0分别来表示用户的是否购买过该物品，则我们的数据集其实应该是这样的：

users = [“User1”, “User2”, “User3”, “User4”, “User5”]

items = [“Item A”, “Item B”, “Item C”, “Item D”, “Item E”]

用户购买记录数据集

datasets = [

[1,0,1,1,0],

[1,0,0,1,1],

[1,0,1,0,0],

[0,1,0,1,1],

[1,1,1,0,1],

]

import pandas as pd

​

df = pd.DataFrame(datasets,

columns=items,

index=users)

print(df)

• 有了数据集，接下来我们就可以进行相似度的计算，不过对于相似度的计算其实是有很多专门的相似度计算方法的，比如余弦相似度、皮尔逊相关系数、杰卡德相似度等等。这里我们选择使用杰卡德相似系数[0,1]

直接计算某两项的杰卡德相似系数

from sklearn.metrics import jaccard_similarity_score

计算Item A 和Item B的相似度

print(jaccard_similarity_score(df[“Item A”], df[“Item B”]))

​

​

计算所有的数据两两的杰卡德相似系数

from sklearn.metrics.pairwise import pairwise_distances

计算用户间相似度

user_similar = 1 - pairwise_distances(df, metric=“jaccard”)

user_similar = pd.DataFrame(user_similar, columns=users, index=users)

print(“用户之间的两两相似度：”)

print(user_similar)

​

计算物品间相似度

item_similar = 1 - pairwise_distances(df.T, metric=“jaccard”)

item_similar = pd.DataFrame(item_similar, columns=items, index=items)

print(“物品之间的两两相似度：”)

print(item_similar)

有了两两的相似度，接下来就可以筛选TOP-N相似结果，并进行推荐了

• User-Based CF

import pandas as pd

import numpy as np

from pprint import pprint

​

users = [“User1”, “User2”, “User3”, “User4”, “User5”]

items = [“Item A”, “Item B”, “Item C”, “Item D”, “Item E”]

用户购买记录数据集

datasets = [

[1,0,1,1,0],

[1,0,0,1,1],

[1,0,1,0,0],

[0,1,0,1,1],

[1,1,1,0,1],

]

​

df = pd.DataFrame(datasets,

columns=items,

index=users)

​

计算所有的数据两两的杰卡德相似系数

from sklearn.metrics.pairwise import pairwise_distances

计算用户间相似度

user_similar = 1 - pairwise_distances(df, metric=“jaccard”)

user_similar = pd.DataFrame(user_similar, columns=users, index=users)

print(“用户之间的两两相似度：”)

print(user_similar)

​

topN_users = {}

遍历每一行数据

for i in user_similar.index:

取出每一列数据，并删除自身，然后排序数据

_df = user_similar.loc[i].drop([i])

_df_sorted = _df.sort_values(ascending=False)

​

top2 = list(_df_sorted.index[:2])

topN_users[i] = top2

​

print(“Top2相似用户：”)

pprint(topN_users)

​

rs_results = {}

构建推荐结果

for user, sim_users in topN_users.items():

rs_result = set()    # 存储推荐结果

for sim_user in sim_users:

构建初始的推荐结果

rs_result = rs_result.union(set(df.ix[sim_user].replace(0,np.nan).dropna().index))

过滤掉已经购买过的物品

rs_result -= set(df.ix[user].replace(0,np.nan).dropna().index)

rs_results[user] = rs_result

print(“最终推荐结果：”)

pprint(rs_results)

• Item-Based CF

import pandas as pd

import numpy as np

from pprint import pprint

​

users = [“User1”, “User2”, “User3”, “User4”, “User5”]

items = [“Item A”, “Item B”, “Item C”, “Item D”, “Item E”]

用户购买记录数据集

datasets = [

[1,0,1,1,0],

[1,0,0,1,1],

[1,0,1,0,0],

[0,1,0,1,1],

[1,1,1,0,1],

]

​

df = pd.DataFrame(datasets,

columns=items,

index=users)

​

计算所有的数据两两的杰卡德相似系数

from sklearn.metrics.pairwise import pairwise_distances

计算物品间相似度

item_similar = 1 - pairwise_distances(df.T, metric=“jaccard”)

item_similar = pd.DataFrame(item_similar, columns=items, index=items)

print(“物品之间的两两相似度：”)

print(item_similar)

​

topN_items = {}

遍历每一行数据

for i in item_similar.index:

取出每一列数据，并删除自身，然后排序数据

_df = item_similar.loc[i].drop([i])

_df_sorted = _df.sort_values(ascending=False)

​

top2 = list(_df_sorted.index[:2])

topN_items[i] = top2

​

print(“Top2相似物品：”)

pprint(topN_items)

​

rs_results = {}

构建推荐结果

for user in df.index:    # 遍历所有用户

rs_result = set()

for item in df.ix[user].replace(0,np.nan).dropna().index:   # 取出每个用户当前已购物品列表

根据每个物品找出最相似的TOP-N物品，构建初始推荐结果

rs_result = rs_result.union(topN_items[item])

过滤掉用户已购的物品

rs_result -= set(df.ix[user].replace(0,np.nan).dropna().index)

添加到结果中

rs_results[user] = rs_result

​

print(“最终推荐结果：”)

pprint(rs_results)

关于协同过滤推荐算法使用的数据集

在前面的demo中，我们只是使用用户对物品的一个购买记录，类似也可以是比如浏览点击记录、收听记录等等。这样数据我们预测的结果其实相当于是在预测用户是否对某物品感兴趣，对于喜好程度不能很好的预测。

因此在协同过滤推荐算法中其实会更多的利用用户对物品的“评分”数据来进行预测，通过评分数据集，我们可以预测用户对于他没有评分过的物品的评分。其实现原理和思想和都是一样的，只是使用的数据集是用户-物品的评分数据。

关于用户-物品评分矩阵

用户-物品的评分矩阵，根据评分矩阵的稀疏程度会有不同的解决方案

• 稠密评分矩阵

• 稀疏评分矩阵

这里先介绍稠密评分矩阵的处理，稀疏矩阵的处理相对会复杂一些，我们到后面再来介绍。

使用协同过滤推荐算法对用户进行评分预测

• 数据集：

目的：预测用户1对物品E的评分

• 构建数据集：注意这里构建评分数据时，对于缺失的部分我们需要保留为None，如果设置为0那么会被当作评分值为0去对待

users = [“User1”, “User2”, “User3”, “User4”, “User5”]

items = [“Item A”, “Item B”, “Item C”, “Item D”, “Item E”]

用户购买记录数据集

datasets = [

[5,3,4,4,None],

[3,1,2,3,3],

[4,3,4,3,5],

[3,3,1,5,4],

[1,5,5,2,1],

]

• 计算相似度：对于评分数据这里我们采用皮尔逊相关系数[-1,1]来计算，-1表示强负相关，+1表示强正相关

pandas中corr方法可直接用于计算皮尔逊相关系数

df = pd.DataFrame(datasets,

columns=items,

index=users)

​

print(“用户之间的两两相似度：”)

直接计算皮尔逊相关系数

默认是按列进行计算，因此如果计算用户间的相似度，当前需要进行转置

user_similar = df.T.corr()

print(user_similar.round(4))

​

print(“物品之间的两两相似度：”)

item_similar = df.corr()

print(item_similar.round(4))

运行结果：

用户之间的两两相似度：

User1   User2   User3   User4   User5

User1 1.0000 0.8528 0.7071 0.0000 -0.7921

User2 0.8528 1.0000 0.4677 0.4900 -0.9001

User3 0.7071 0.4677 1.0000 -0.1612 -0.4666

User4 0.0000 0.4900 -0.1612 1.0000 -0.6415

User5 -0.7921 -0.9001 -0.4666 -0.6415 1.0000

物品之间的两两相似度：

Item A Item B Item C Item D Item E

Item A 1.0000 -0.4767 -0.1231 0.5322 0.9695

Item B -0.4767 1.0000 0.6455 -0.3101 -0.4781

Item C -0.1231 0.6455 1.0000 -0.7206 -0.4276

Item D 0.5322 -0.3101 -0.7206 1.0000 0.5817

Item E 0.9695 -0.4781 -0.4276 0.5817 1.0000

可以看到与用户1最相似的是用户2和用户3；与物品A最相似的物品分别是物品E和物品D。

**注意：**我们在预测评分时，往往是通过与其有正相关的用户或物品进行预测，如果不存在正相关的情况，那么将无法做出预测。这一点尤其是在稀疏评分矩阵中尤为常见，因为稀疏评分矩阵中很难得出正相关系数。

• 评分预测：

User-Based CF 评分预测：使用用户间的相似度进行预测

关于评分预测的方法也有比较多的方案，下面介绍一种效果比较好的方案，该方案考虑了用户本身的评分评分以及近邻用户的加权平均相似度打分来进行预测：

我们要预测用户1对物品E的评分，那么可以根据与用户1最近邻的用户2和用户3进行预测，计算如下：

最终预测出用户1对物品5的评分为3.91

Item-Based CF 评分预测：使用物品间的相似度进行预测

这里利用物品相似度预测的计算同上，同样考虑了用户自身的平均打分因素，结合预测物品与相似物品的加权平均相似度打分进行来进行预测

我们要预测用户1对物品E的评分，那么可以根据与物品E最近邻的物品A和物品D进行预测，计算如下：

对比可见，User-Based CF预测评分和Item-Based CF的评分结果也是存在差异的，因为严格意义上他们其实应当属于两种不同的推荐算法，各自在不同的领域不同场景下，都会比另一种的效果更佳，但具体哪一种更佳，必须经过合理的效果评估，因此在实现推荐系统时这两种算法往往都是需要去实现的，然后对产生的推荐效果进行评估分析选出更优方案。

基于模型的方法

• 思想

• 通过机器学习算法，在数据中找出模式，并将用户与物品间的互动方式模式化

• 基于模型的协同过滤方式是构建协同过滤更高级的算法

• 近邻模型的问题

• 物品之间存在相关性, 信息量并不随着向量维度增加而线性增加

• 矩阵元素稀疏, 计算结果不稳定,增减一个向量维度, 导致近邻结果差异很大的情况存在

• 算法分类

• 基于图的模型

• 基于矩阵分解的方法

• 基于图的模型

• 基于邻域的模型看做基于图的模型的简单形式

• 

• 原理

• 将用户的行为数据表示为二分图

• 基于二分图为用户进行推荐

• 根据两个顶点之间的路径数、路径长度和经过的顶点数来评价两个顶点的相关性

• 基于矩阵分解的模型

• 原理

• 根据用户与物品的潜在表现，我们就可以预测用户对未评分的物品的喜爱程度

• 把原来的大矩阵, 近似分解成两个小矩阵的乘积, 在实际推荐计算时不再使用大矩阵, 而是使用分解得到的两个小矩阵

• 用户-物品评分矩阵A是M X N维, 即一共有M个用户, n个物品 我们选一个很小的数 K (K<< M, K<<N)

• 通过计算得到两个矩阵U V U是M * K矩阵 , 矩阵V是 N * K

KaTeX parse error: Undefined control sequence: \* at position 5: U_{m\̲*̲k} V^{T}_{n_k} …

类似这样的计算过程就是矩阵分解

• 基于矩阵分解的方法

• ALS交替最小二乘

• ALS-WR(加权正则化交替最小二乘法): alternating-least-squares with weighted-λ –regularization

• 将用户(user)对商品(item)的评分矩阵分解为两个矩阵：一个是用户对商品隐含特征的偏好矩阵，另一个是商品所包含的隐含特征的矩阵。在这个矩阵分解的过程中，评分缺失项得到了填充，也就是说我们可以基于这个填充的评分来给用户做商品推荐了。

• SVD奇异值分解矩阵

• ALS方法

• ALS的矩阵分解算法常应用于推荐系统中，将用户(user)对商品(item)的评分矩阵，分解为用户对商品隐含特征的偏好矩阵，和商品在隐含特征上的映射矩阵。

• 与传统的矩阵分解SVD方法来分解矩阵R(R∈ℝm×n)不同的是，ALS(alternating least squares)希望找到两个低维矩阵，以 R̃ =XY 来逼近矩阵R，其中 ，X∈ℝm×d，Y∈ℝd×n，这样，将问题的复杂度由O(m_n)转换为O((m+n)_d)。

• 计算X和Y过程：首先用一个小于1的随机数初始化Y，并根据公式求X，此时就可以得到初始的XY矩阵了，根据平方差和得到的X，重新计算并覆盖Y，计算差平方和，反复进行以上两步的计算，直到差平方和小于一个预设的数，或者迭代次数满足要求则停止

四、案例–基于协同过滤的电影推荐

---

前面我们已经基本掌握了协同过滤推荐算法，以及其中两种最基本的实现方案：User-Based CF和Item-Based CF，下面我们将利用真是的数据来进行实战演练。

案例需求 演示效果

分析案例

数据集下载

MovieLens Latest Datasets Small

建议下载ml-latest-small.zip，数据量小，便于我们单机使用和运行

目标：根据ml-latest-small/ratings.csv（用户-电影评分数据），分别实现User-Based CF和Item-Based CF，并进行电影评分的预测，然后为用户实现电影推荐

数据集加载

• 加载ratings.csv，并转换为用户-电影评分矩阵

import os

​

做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。

别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。

我先来介绍一下这些东西怎么用，文末抱走。

---

（1）Python所有方向的学习路线（新版）

这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

最近我才对这些路线做了一下新的更新，知识体系更全面了。

（2）Python学习视频

包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

（3）100多个练手项目

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。

（4）200多本电子书

这些年我也收藏了很多电子书，大概200多本，有时候带实体书不方便的话，我就会去打开电子书看看，书籍可不一定比视频教程差，尤其是权威的技术书籍。

基本上主流的和经典的都有，这里我就不放图了，版权问题，个人看看是没有问题的。

（5）Python知识点汇总

知识点汇总有点像学习路线，但与学习路线不同的点就在于，知识点汇总更为细致，里面包含了对具体知识点的简单说明，而我们的学习路线则更为抽象和简单，只是为了方便大家只是某个领域你应该学习哪些技术栈。

（6）其他资料

还有其他的一些东西，比如说我自己出的Python入门图文类教程，没有电脑的时候用手机也可以学习知识，学会了理论之后再去敲代码实践验证，还有Python中文版的库资料、MySQL和HTML标签大全等等，这些都是可以送给粉丝们的东西。

这些都不是什么非常值钱的东西，但对于没有资源或者资源不是很好的学习者来说确实很不错，你要是用得到的话都可以直接抱走，关注过我的人都知道，这些都是可以拿到的。

小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）

ython学习视频**

包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

（3）100多个练手项目

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。

（4）200多本电子书

这些年我也收藏了很多电子书，大概200多本，有时候带实体书不方便的话，我就会去打开电子书看看，书籍可不一定比视频教程差，尤其是权威的技术书籍。

基本上主流的和经典的都有，这里我就不放图了，版权问题，个人看看是没有问题的。

（5）Python知识点汇总

知识点汇总有点像学习路线，但与学习路线不同的点就在于，知识点汇总更为细致，里面包含了对具体知识点的简单说明，而我们的学习路线则更为抽象和简单，只是为了方便大家只是某个领域你应该学习哪些技术栈。

（6）其他资料

还有其他的一些东西，比如说我自己出的Python入门图文类教程，没有电脑的时候用手机也可以学习知识，学会了理论之后再去敲代码实践验证，还有Python中文版的库资料、MySQL和HTML标签大全等等，这些都是可以送给粉丝们的东西。

这些都不是什么非常值钱的东西，但对于没有资源或者资源不是很好的学习者来说确实很不错，你要是用得到的话都可以直接抱走，关注过我的人都知道，这些都是可以拿到的。

小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）
[外链图片转存中…(img-IoF49OAB-1711017523855)]