感谢每一个认真阅读我文章的人，看着粉丝一路的上涨和关注，礼尚往来总是要有的：
① 2000多本Python电子书（主流和经典的书籍应该都有了）
② Python标准库资料（最全中文版）
③ 项目源码（四五十个有趣且经典的练手项目及源码）
④ Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）
⑤ Python学习路线图（告别不入流的学习）
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
如果上述的的库没有下载，请安装后在使用；（如果没有安装库，就会爆红）
1.2 获取页面信息
# 此处写入登录之后自己的cookies
cookie = ''
# 获取页面信息
def getHTMLText(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'}
user_cookies = cookie
cookies = {
}
for a in user_cookies.split(';'): # 因为cookies是字典形式，所以用spilt函数将之改为字典形式
name, value = a.strip().split('=', 1)
cookies[name] = value
try:
r = requests.get(url, cookies=cookies, headers=headers, timeout=60)
print(r.status_code)
print(r.cookies)
return r.text
except:
print('获取页面信息失败')
return ''
1.3 格式化页面，查找数据
# 格式化页面，查找数据
def parsePage(html):
list = []
try:
views_title = re.findall('"raw_title":"(.*?)","pic_url"', html)
print(len(views_title)) # 打印检索到数据信息的个数，如果此个数与后面的不一致，则数据信息不能加入列表
print(views_title)
views_price = re.findall('"view_price":"(.*?)","view_fee"', html)
print(len(views_price))
print(views_price)
item_loc = re.findall('"item_loc":"(.*?)","view_sales"', html)
print(len(item_loc))
print(item_loc)
views_sales = re.findall('"view_sales":"(.*?)","comment_count"', html)
print(len(views_sales))
print(views_sales)
comment_count = re.findall('"comment_count":"(.*?)","user_id"', html)
print(len(comment_count))
print(comment_count)
shop_name = re.findall('"nick":"(.*?)","shopcard"', html)
print(len(shop_name))
for i in range(len(views_price)):
list.append([views_title[i], views_price[i], item_loc[i], comment_count[i], views_sales[i], shop_name[i]])
# print(list)
print('爬取数据成功')
return list
except:
print('有数据信息不全，如某一页面中某一商品缺少地区信息')
1.4 将数据存储到csv文件中
# 存储到csv文件中，为接下来的数据分析做准备
def save_to_file(list):
data = pd.DataFrame(list)
data.to_csv('F:\\Github\\pythonobject\\taobao\\商品数据.csv', header=False, mode='a+') # 用追加写入的方式
1.5 完整代码
# -*- coding: utf-8 -*-
import requests
import re
import pandas as pd
import time
# 此处写入登录之后自己的cookies
cookie = ''
# 获取页面信息
def getHTMLText(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'}
user_cookies = cookie
cookies = {
}
for a in user_cookies.split(';'): # 因为cookies是字典形式，所以用spilt函数将之改为字典形式
name, value = a.strip().split('=', 1)
cookies[name] = value
try:
r = requests.get(url, cookies=cookies, headers=headers, timeout=60)
print(r.status_code)
print(r.cookies)
return r.text
except:
print('获取页面信息失败')
return ''
# 格式化页面，查找数据
def parsePage(html):
list = []
try:
views_title = re.findall('"raw_title":"(.*?)","pic_url"', html)
print(len(views_title)) # 打印检索到数据信息的个数，如果此个数与后面的不一致，则数据信息不能加入列表
print(views_title)
views_price = re.findall('"view_price":"(.*?)","view_fee"', html)
print(len(views_price))
print(views_price)
item_loc = re.findall('"item_loc":"(.*?)","view_sales"', html)
print(len(item_loc))
print(item_loc)
views_sales = re.findall('"view_sales":"(.*?)","comment_count"', html)
print(len(views_sales))
print(views_sales)
comment_count = re.findall('"comment_count":"(.*?)","user_id"', html)
print(len(comment_count))
print(comment_count)
shop_name = re.findall('"nick":"(.*?)","shopcard"', html)
print(len(shop_name))
for i in range(len(views_price)):
list.append([views_title[i], views_price[i], item_loc[i], comment_count[i], views_sales[i], shop_name[i]])
# print(list)
print('爬取数据成功')
return list
except:
print('有数据信息不全，如某一页面中某一商品缺少地区信息')
# 存储到csv文件中，为接下来的数据分析做准备
def save_to_file(list):
data = pd.DataFrame(list)
data.to_csv('F:\\Github\\pythonobject\\taobao\\商品数据.csv', header=False, mode='a+') # 用追加写入的方式
def main():
name = [['views_title', 'views_price', 'item_loc', 'comment_count', 'views_sales', 'shop_name']]
data_name = pd.DataFrame(name)
data_name.to_csv('F:\\Github\\pythonobject\\taobao\\商品数据.csv', header=False, mode='a+') # 提前保存一行列名称
goods = input('请输入想查询的商品名称：'.strip()) # 输入想搜索的商品名称
depth = 5 # 爬取的页数
start_url = 'https://s.taobao.com/search?q=' + goods # 初始搜索地址
for i in range(depth):
time.sleep(3 + i)
try:
page = i + 1
print('正在爬取第%s页数据' % page)
url = start_url + 'imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20200408&ie=utf8&sort=sale-desc&bcoffset=0&p4ppushleft=%2C44&s=' + str(
44 * i)
html = getHTMLText(url)
# print(html)
list = parsePage(html)
save_to_file(list)
except:
print('数据没保存成功')
if __name__ == '__main__':
main()
运行项目，输入男士衬衫，回车，自动爬取数据
保存的商品信息csv文件：
三、数据可视化实现
数据可视化说白了，也就是通过数据分析，将得出的结果用图表的形式展示出来，图表的展示无非就是k,v的方式实现，所以我们可以借助pandas，将海量的数据分析出来，并且将分析后的数据处理成可视化表所识别的数据格式就可以实现数据可视化。我们这里可视化依赖于pyecharts和matplotlib。
1.1 引入依赖
没有以下库的请下载安装
import pandas as pd
import operator
from matplotlib import pyplot as plt
import matplotlib as mpl
from pyecharts.charts import Bar, Pie
# 用于设值全局配置和系列配置
from pyecharts import options as opts
mpl.rcParams['font.sans-serif'] = ['KaiTi'] # 画图时显示中文
mpl.rcParams['font.serif'] = ['KaiTi']
data = pd.read_csv('F:\\Github\\pythonobject\\taobao\\商品数据.csv', encoding='utf-8')
1.2 价格分布直方图实现逻辑
# 商品价格分析
def priceshow():
print(data['views_price'].describe())
# 价格分布直方图
plt.figure(figsize=(16, 9)) # 这里是图片长宽比例
plt.hist(data['views_price'], bins=30, alpha=0.4, color='orange')
plt.title('价格频数分布直方图')
plt.xlabel('价格')
plt.ylabel('频数')
plt.savefig('价格分布直方图.png')
1.3 商品销售地分析实现逻辑
# 分析商品的数据（商品销售地分析）
def shop_localdatashow():
# 销售地分布
group_data = list(data.groupby('item_loc'))
loc_num = {
}
for i in range(len(group_data)):
loc_num[group_data[i][0]] = len(group_data[i][1])
print(loc_num)
plt.figure(figsize=(30, 10))
plt.title('销售地折线图')
plt.scatter(list(loc_num.keys()), list(loc_num.values()), color='r')
plt.plot(list(loc_num.keys()), list(loc_num.values()))
plt.xlabel('销售地区')
plt.ylabel('个数')
plt.savefig('销售地.png')
sorted_loc_num = sorted(loc_num.items(), key=operator.itemgetter(1), reverse=True) # 排序
loc_num_10 = sorted_loc_num[:10] # 取前10
loc_10 = []
num_10 = []
for i in range(10):
loc_10.append(loc_num_10[i][0])
num_10.append(loc_num_10[i][1])
plt.figure(figsize=(16, 9))
plt.title('销售地TOP10')
plt.xlabel('销售地区')
plt.ylabel('个数')
plt.bar(loc_10, num_10, facecolor='lightskyblue', edgecolor='white')
plt.savefig('销售地TOP10.png')
top10生产地表
1.4 商品店名称聚集实现逻辑
数据获取，通过pyecharts展示数据
# 分析商品店名称聚集
def shop_name():
# 店名称分析
df1 = data['shop_name'].str[-3:]
shop = list(df1.groupby(df1))
# print(shop)
shop_num = {
}
for i in range(len(shop)):
shop_num[shop[i][0]] = len(shop[i][1])
shop_num['其他'] =176 - shop_num['专卖店'] - shop_num['专营店'] - shop_num['旗舰店']
data1 = sorted(shop_num.values(), reverse=True)[:4]
# print(shop_num)
label = ['旗舰店', '专卖店', '其他', '专营店'] # 定义饼图的标签，标签是列表
# explode = [0.01, 0.01, 0.01, 0.01] # 设定各项距离圆心n个半径
# attr = ["衬衫", "羊毛衫", "雪纺衫", "裤子", "高跟鞋", "袜子"]
v = [shop_num['旗舰店'], shop_num['专卖店'], shop_num['其他'], shop_num['专卖店']]
arr = [label, v]
return arr
这里注意：
- shop_num[‘其他’] =176 - shop_num[‘专卖店’] - shop_num[‘专营店’] - shop_num[‘旗舰店’]
- 176是指我爬出了多少条数据信息，文件第一行是表头，不算在内。
销售店名称饼图
def text(x, y):
# 饼图用的数据格式是[(key1,value1),(key2,value2)]，所以先使用 zip函数将二者进行组合
data_pair = [list(z) for z in zip(x, y)]
(
# 初始化配置项，内部可设置颜色
Pie(init_opts=opts.InitOpts(bg_color="#2c343c"))
.add(
# 系列名称，即该饼图的名称
series_name="销售店名称饼图分析",
# 系列数据项，格式为[(key1,value1),(key2,value2)]
data_pair=data_pair,
# 通过半径区分数据大小 “radius” 和 “area” 两种
rosetype="radius",
# 饼图的半径，设置成默认百分比，相对于容器高宽中较小的一项的一半
radius="60%",
# 饼图的圆心，第一项是相对于容器的宽度，第二项是相对于容器的高度
center=["50%", "50%"],
# 标签配置项
label_opts=opts.LabelOpts(is_show=False, position="center"),
)
# 全局设置
.set_global_opts(
# 设置标题
title_opts=opts.TitleOpts(
# 名字
title="销售店名称饼图分析",
# 组件距离容器左侧的位置
pos_left="center",
# 组件距离容器上方的像素值
pos_top="20",
# 设置标题颜色
title_textstyle_opts=opts.TextStyleOpts(color="#ffffff"),
),
# 图例配置项，参数 是否显示图里组件
legend_opts=opts.LegendOpts(is_show=False),
)
# 系列设置
.set_series_opts(
tooltip_opts=opts.TooltipOpts(
trigger="item", formatter="{a} <br/>{b}: {c} ({d}%)"
),
# 设置标签颜色
label_opts=opts.LabelOpts(color="rgba(255, 255, 255, 0.4)"),
)
.render("销售店名称饼图分析.html")
)
通过分析，旗舰店的商户占比较大，所以大部分用户都是在旗舰店购买的衣服。
1.5 完整代码
import pandas as pd
import operator
from matplotlib import pyplot as plt
import matplotlib as mpl
from pyecharts.charts import Bar, Pie
# 用于设值全局配置和系列配置
from pyecharts import options as opts
mpl.rcParams['font.sans-serif'] = ['KaiTi'] # 画图时显示中文
mpl.rcParams['font.serif'] = ['KaiTi']
data = pd.read_csv('F:\\Github\\pythonobject\\taobao\\商品数据.csv', encoding='utf-8')
# 商品价格分析
def priceshow():
print(data['views_price'].describe())
# 价格分布直方图
plt.figure(figsize=(16, 9))
plt.hist(data['views_price'], bins=30, alpha=0.4, color='red')
plt.title('价格频数分布直方图')
plt.xlabel('价格')
plt.ylabel('频数')
plt.savefig('价格分布直方图.png')
# 分析商品的数据（商品销售地分析）
def shop_localdatashow():
# 销售地分布
group_data = list(data.groupby('item_loc'))
loc_num = {
}
for i in range(len(group_data)):
loc_num[group_data[i][0]] = len(group_data[i][1])
print(loc_num)
plt.figure(figsize=(30, 10))
plt.title('销售地折线图')
plt.scatter(list(loc_num.keys()), list(loc_num.values()), color='r')
plt.plot(list(loc_num.keys()), list(loc_num.values()))
plt.xlabel('销售地区')
plt.ylabel('个数')
plt.savefig('销售地.png')
sorted_loc_num = sorted(loc_num.items(), key=operator.itemgetter(1), reverse=True) # 排序
loc_num_10 = sorted_loc_num[:10] # 取前10
loc_10 = []
num_10 = []
for i in range(10):
loc_10.append(loc_num_10[i][0])
num_10.append(loc_num_10[i][1])
plt.figure(figsize=(16, 9))
plt.title('销售地TOP10')
plt.xlabel('销售地区')
plt.ylabel('个数')
plt.bar(loc_10, num_10, facecolor='lightskyblue', edgecolor='white')
plt.savefig('销售地TOP10.png')
# 分析商品店名称聚集
def shop_name():
# 店名称分析
df1 = data['shop_name'].str[-3:]
shop = list(df1.groupby(df1))
# print(shop)
shop_num = {
}
for i in range(len(shop)):
shop_num[shop[i][0]] = len(shop[i][1])
shop_num['其他'] = 176 - shop_num['专卖店'] - shop_num['专营店'] - shop_num['旗舰店']
data1 = sorted(shop_num.values(), reverse=True)[:4]
# print(shop_num)
label = ['旗舰店', '专卖店', '其他', '专营店'] # 定义饼图的标签，标签是列表
# explode = [0.01, 0.01, 0.01, 0.01] # 设定各项距离圆心n个半径
# attr = ["衬衫", "羊毛衫", "雪纺衫", "裤子", "高跟鞋", "袜子"]
v = [shop_num['旗舰店'], shop_num['专卖店'], shop_num['其他'], shop_num['专卖店']]
arr = [label, v]
return arr
def text(x, y):
# 饼图用的数据格式是[(key1,value1),(key2,value2)]，所以先使用 zip函数将二者进行组合
data_pair = [list(z) for z in zip(x, y)]
(
# 初始化配置项，内部可设置颜色
Pie(init_opts=opts.InitOpts(bg_color="#2c343c"))
.add(
# 系列名称，即该饼图的名称
series_name="销售店名称饼图分析",
# 系列数据项，格式为[(key1,value1),(key2,value2)]
data_pair=data_pair,
# 通过半径区分数据大小 “radius” 和 “area” 两种
rosetype="radius",
# 饼图的半径，设置成默认百分比，相对于容器高宽中较小的一项的一半
radius="60%",
# 饼图的圆心，第一项是相对于容器的宽度，第二项是相对于容器的高度
center=["50%", "50%"],
# 标签配置项
label_opts=opts.LabelOpts(is_show=False, position="center"),
)
# 全局设置
.set_global_opts(
### 最后
Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
#### 👉Python所有方向的学习路线👈
Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
#### 👉Python必备开发工具👈
工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。
#### 👉Python全套学习视频👈
我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。
#### 👉实战案例👈
学python就与学数学一样，是不能只看书不做题的，直接看步骤和答案会让人误以为自己全都掌握了，但是碰到生题的时候还是会一筹莫展。
因此在学习python的过程中一定要记得多动手写代码，教程只需要看一两遍即可。
#### 👉大厂面试真题👈
我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。
**[需要这份系统化学习资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618317507)**
**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
3万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
