文末有福利领取哦~
👉一、Python所有方向的学习路线
Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
👉二、Python必备开发工具
👉三、Python视频合集
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
👉 四、实战案例
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。(文末领读者福利)
👉五、Python练习题
检查学习结果。
👉六、面试资料
我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
👉因篇幅有限,仅展示部分资料,这份完整版的Python全套学习资料已经上传
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
with sync_playwright() as p:
browser = p.chromium.launch(headless=False, proxy={'server': 'http://127.0.0.1:58889'})
context = browser.new_context()
cookies = []
for p in range(1, 100):
try:
page = context.new_page()
page.route(re.compile(r"(\.png)|(\.jpg)|(\.js)"), cancel_request)
context.add_cookies(cookies)
print(p)
page.goto(f"https://www.ozon.ru/category/makiyazh-6501/?page={p}")
web_html = page.content()
selector = etree.HTML(web_html)
data = selector.xpath('//div[@id="state-searchResultsV2-252189-default-1"]/@data-state')[0]
data = json.loads(data)
元数据展示
采集数据量查看
df.shape
国外站点好多都没有按销量排序,该网站也不例外!
本次共采集了100页彩妆的热门推荐商品,采集商品数量为3211款;
数据清洗
数据清洗很重要,这个对于我们后续做可视化展示,极其重要。因此我们需要根据后面要做的图形,然后进行对应的进行数据清洗。
元数据整个数据看上去算是比较干净,但是还是有几个地方指的我们处理一下。
1、解析返回的元数据,抽出需要的字段;
2、处理价格乱码,替换卢比标志;
3、匹配店铺名称,抽取有用的字符串;
4、将打分人数为空的记录,替换成0人打分;
5、将标题一样的做去重;
数据清洗部分代码如下:
df = df.drop_duplicates('title')
df['current\_price'] = df['current\_price'].apply(lambda x:int(x.replace('\u2009','').replace('₽','')))
df['original\_price'] = df['original\_price'].apply(lambda x:int(x.replace('\u2009','').replace('₽','')))
df = df.fillna(0)
现在来看看,清洗后的数据是啥样的?
本次采集是根据平台的受欢迎产品来排序采集的,采集结果重复的占比较高,去重后商品为2085款;
数据可视化展示
可视化是整个文章的亮点所在,所谓“字不如表、表不如图”。整个可视化大屏我们基于以下五个问题开展而来。
- 评价数量Top10的美妆柱形图;
- 评价数量Top10的店铺柱形图;
- 不同价格区间的美妆评价数圆环图;
- 美妆销售关键字的词云图;
1. 评价数量Top10的美妆柱形图;
from cutecharts.charts import Bar
from cutecharts.components import Page
def bar\_base() -> Bar:
chart = Bar("评价数量Top10的商品柱形图",width="1000px",height="800px")
chart.set_options(labels=labels, x_label="商品名", y_label="评价人数")
chart.add_series("series-A", value)
return chart
bar_base().render_notebook()
结论:
销量Top10的美妆,其实对于我们做产品还是挺有指导意义的。从图中可以看到这个VivienneSabo,在国外卖的还是极其好的,销量排名前10的产品中,VivienneSabo品牌的产品占据了7个位置。还有一个名字特别熟悉:妮维雅,只知道他家的洗面奶做的好,原来唇膏做的也不错,所以说品牌效应还是很好的。国产美妆也在塑造自身品牌的同时寻求出海机遇!
2. 评价数量Top10的店铺柱形图;
毋庸置疑,ozon自营的产品遥遥领先。可能是因为ozon起初以自营为主,是近几年采开始转向跨境电商和第三方平台的原因。
3. 不同价格区间的美妆圆环图
from cutecharts.charts import Pie
from cutecharts.components import Page
bins=[0,200,300,500,1000,2000,10000000]
# 按分段离散化数据
segments=pd.cut(df['current\_price'],bins,right=False)
# 统计各分段人数
counts=pd.value_counts(segments,sort=False)
label = [
"200卢币以下",
"200-300卢币",
"300-500卢币",
"500-1000卢币",
"1000-2000卢币",
"2000卢币以上"
]
def pie\_base() -> Pie:
chart = Pie("不同价格区间的美妆圆环图")
chart.set_options(labels=label)
chart.add_series(list(counts.to_dict().values()))
return chart
pie_base().render_notebook()
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!