python
文章平均质量分 95
办公模板库 素材蛙
命数如织 当为磐石
展开
-
Python爬虫第五课 购票项目爬虫实战
使用谷歌浏览器或fiddler等抓包工具完成登陆以及购票操作,进行抓包,爬虫翻译 2022-06-01 19:58:42 · 1509 阅读 · 2 评论 -
Python数据分析高薪实战第十二天 网络服务用户流失预测分析和国产电视剧评分预测分析
29 综合实战:网络服务用户流失预测与分析绝大多数互联网公司都面临一个非常重要的问题:用户流失问题。随着互联网和移动互联网的充分发展,发展新用户(也就是一般所说的拉新)的成本越来越高,往往要几块或者几十块的成本才能发展出一个新用户。但如果用户在使用服务的时候觉得不开心就不用了,那就算流失用户。流失用户对公司会带来非常直接的损失,所以最大可能地减少用户流失就成为互联网公司的重要命题。常规的提升产品的使用体验,提供更多用户喜欢的功能是一个方向。另一方向就是识别出潜在的流失用户,发放一定的权益或者红包让他原创 2022-05-05 11:04:13 · 1406 阅读 · 0 评论 -
Python数据分析高薪实战第十一天 AI落地实战票房预测
28 AI 落地实战:训练通用电影票房预测模型近十年,电影行业在世界范围内都取得了蓬勃的发展,越来越多的资金和人都源源不断地流入到这个行业,但对于电影投资人来说,风险和收益也是并存的。投入很大最后收益很小的案例也屡见不鲜。所以在电影未上映之前进行票房的预测就变得非常重要,这不仅对电影投资人来说是重要的避险手段,对于院线同样很有意义。试想如果院线对一个电影大规模拍片,结果票房不好,院线最终也是损失惨重的。电影票房虽然受非常多因素的影响,但整体也算有迹可循,比如电影的投资额、演员、电影的类型等,都可能会原创 2022-05-05 10:46:17 · 1979 阅读 · 2 评论 -
Python数据分析高薪实战第十天 EDA实战-全球新冠肺炎确诊病例趋势分析
27 初识 EDA:全球新冠肺炎确诊病例趋势分析从本讲开始,我们会通过四个具体的案例来将我们之前学习的 Python 数据分析方面的知识全都串起来。一方面能够融会贯通,另一方面也能帮你掌握数据分析基本的方法论。本讲我们首先会介绍数据分析中一个非常常见的方法论:EDA(Exploratory Data Analysis),探索性数据分析。其实我们在之前的实战分析中,都或多或少地基于 EDA 来做分析,只是没有系统学习方法论的理论与过程。在介绍 EDA 的知识后,我们会以分析新冠肺炎的蔓延趋势为例,实践原创 2022-05-05 10:41:31 · 1710 阅读 · 1 评论 -
Python数据分析高薪实战第十天 数据绘图进阶与实战
24 图像的脊柱、注解和图例:如何画出更专业的图表?前面两节课,我们学习了主流的几种 matplotlib 的图形形式,主要包括折线图、散点图、直方图、条形图和饼图。现在我们已经可以画出样式比较多的图表。但我们画出的图表距离专业的图表来看,还有一些不足。本讲我们就来学习 matplotlib 画图的几个重要的样式要素:脊柱、注解和图例。学好这些可以帮助我们画出更专业的图表。脊柱首先,我们来学习图像脊柱,脊柱可以理解为图像的坐标轴。之前的课程里我们简单学习过设置范围和名称,现在我们来系统地学习一下坐原创 2022-05-05 10:36:02 · 848 阅读 · 0 评论 -
Python数据分析高薪实战第九天 数据绘图基础
21 绘图基础:如何将表中的数据特征画成图?现在,数据分析的三座大山我们已经翻过了两座,学完了 NumPy 和 Pandas 之后,我们基本具备了如何以表格的形式进行常规的数据分析,以及对于数据部分进行一些统计分析、回归分析等。但数据分析还有另一个重要的任务,就是把数据分析的内容与结果以图表的形式呈现出来。毕竟数据分析的结果是要给别人看的,丰富多彩的图表在表达能力上肯定超过干巴巴的表格与数字。Python 提供了非常强大的数据可视化的工具,本部分我们就来逐步学习如何在 Python 中实现数据的可视原创 2022-05-05 10:09:26 · 1167 阅读 · 0 评论 -
Python数据分析高薪实战第八天 电商用户对商品喜好的预测
20 案例实战:电商用户对商品喜好的预测在第 16 讲中,我们使用 pandas 对电商的用户行为数据做了一些简单的分析,并为短信营销提供了人群维度和时间维度的参考。不知你在分析完后是否有意犹未尽的感觉,是否总觉得那份数据集中还隐藏了很多的信息在向你招手?现在我们已经完成了 NumPy 相关的学习,习得了一身从数值维度切入进行数据分析的本领。本讲我将会带你继续杀回电商数据集,尝试更进一步,挖掘出更多的信息。任务背景通过上一次你对营销短信的人群与时段的出色分析,阿普闪购的推广活动圆满达成了目标。当日原创 2022-05-05 10:00:38 · 1572 阅读 · 3 评论 -
Python数据分析高薪实战第八天 数据计算统计与分析
17 如何快速实现数据的批量计算?接下来我们会进入一个全新的模块:数值类数据分析。在这个部分,我们会学习数据分析中常用的数学方法以及 Python 中处理数值数据的神器:NumPy。在完成了本部分的学习后,对于数据集中的数值部分的数据,我们就能够用更多的分析方法,如回归分析、预测分析等,从大数据中获取更多有用的信息与结论。在实战中,我们根据现有的数据来对未知的数据进行预测,往往都需要基于数值数据分析的方法,比如根据一个地区部分房屋交易的数据,来预测一套新的房源可能会交易的价格。或者根据某只股票过去的原创 2022-05-05 09:54:58 · 572 阅读 · 0 评论 -
Python数据分析高薪实战第七天 数据解析和电商行为分析案例
15 时间序列:时间数据的解析与应用在很多数据分析任务中,经常会遇到处理时间相关的数据。比如电商网站经常需要根据下单记录来分析不同时间段的商品偏好,以此来决定网站不同时间段的促销信息;又或者是通过对过去十年的金融市场的数据进行分析,来预测某个细分版本的未来走势。在这些任务中,时间信息的处理都是重中之重。时间数据的处理不同于对常见的数字、字符串等数据的处理方式,时间数据处理起来往往会比较复杂。比如数据表中有一个表示时间的字符串:"2018/02/01",我们希望提取其年、月、日,就需要去解析,分割该字原创 2022-05-05 09:47:25 · 930 阅读 · 0 评论 -
Python数据分析高薪实战第六天 数据过滤与数据清洗
13 高级索引:过滤与查看表格中的局部数据上一节课中,我们学习了 pandas 中两个核心的数据结构:Series 和 DataFrame,之后还学习了 DataFrame 的常见操作,比如对列、行的增删查改。但 DataFrame 的能力远不止于此,今天我们会围绕数据分析中各种各样的查询需求,来系统性介绍 DataFrame 强大的数据查询与过滤能力。使用 [] 查询元素中括号[], 是 pandas 中最基础的索引器。索引器是指我们提供索引,然后索引器就返回索引对应的内容。其实我们早在变量与数原创 2022-05-04 09:55:10 · 2002 阅读 · 1 评论 -
Python数据分析高薪实战第五天 文件数据的读取和查看
11 文件处理:如何读取多种文件(cvexcel)的数据?从今天开始,我们进入了一个新的部分:使用 pandas 进行数据处理。在上一个模块我们学习了爬虫技术,并学会了怎么将数据从网页中抓取出来保存成 csv 数据集。在有了数据集之后,接下来我们就开始学习怎么把数据集的内容加载到 Python 中。虽然我们在上一个模块学过简单的读取 csv 的文件内容。但是存在两个问题:只能读取 csv 文件,但数据分析的数据除了可能来自 csv,也可能来自 Excel,甚至可以来自 html 的表格。原创 2022-05-04 09:46:39 · 785 阅读 · 0 评论 -
Python数据分析高薪实战第四天 构建国产电视剧评分数据集
10 实战:手把手教你构建国产电视剧评分数据集在前面几讲,我们已经学习完了爬虫技术的三个基础环节:下载数据、提取数据以及保存数据。今天我们将通过一个综合的实战案例来将之前的内容都串联起来,帮你加深印象,更好地掌握 Python 爬虫技术。任务描述近期,电视剧《司藤》热播,阿普闪购决定策划一场围绕国产口碑电视剧的周边特卖活动。为了最大化提升活动的成功率,需要对目前已经有的电视剧名称、演员和评分进行分析,以预判一个电视剧的评分走向。在一切预测与分析之前,首先就需要收集目前国产电视剧的相关数据,或者换句原创 2022-05-04 09:36:29 · 1450 阅读 · 0 评论 -
Python数据分析高薪实战第四天 python数据采集下载和提取保存
06 获取数据:公开数据集与 DIY 数据集首先恭喜你完成了第一部分的学习。现在你已经基本掌握了 Python 的基础并能够使用 Python 完成一些相对完整的功能的开发,是时候开始进入数据分析的世界了。这一章我们将会围绕数据分析的第一步:数据获取展开。为什么说数据获取是数据分析的第一步呢,显而易见:数据分析,得先有数据,才能分析。在大厂的数据部门,要获取数据可能会很容易,毕竟公司本身就已经沉淀了非常多的数据。而作为一个普通个体要获取能够操练分析技巧的数据并不是一件容易的事,毕竟数据首先要有一定规原创 2022-05-04 09:03:42 · 2443 阅读 · 0 评论 -
Python数据分析高薪实战第三天 python案例-日程管理工具
05 案例实战:日程管理小工具现在,我们已经学完了 Python 语言几大核心组成部分:变量与数据类型、分支结构与循环结构、函数以及类与对象。本节我们将通过完成一个稍微复杂的实战案例来把这些知识点串起来,加深你对相关知识点的理解。另外,在学习本章的过程中,可能会需要你经常去翻前面几章学到的内容哟。任务描述转眼间,你在阿普闪购已经实习了两个月。这段时间你对于工作日渐得心应手,还收获了两个好朋友:财务部的实习生小 E 和后端技术实习生阿强。最近午饭的时候,小 E 总是抱怨自己最近工作太忙了老是漏处理一原创 2022-05-04 08:44:53 · 1038 阅读 · 0 评论 -
Python数据分析高薪实战第二天 python基础语法复习
02 流程控制:如何控制代码执行的顺序?上一讲中,我们讲的所有代码都是顺序执行的。什么意思呢?就是我们在所有例子中的代码,计算机都是从第一句开始执行,执行完毕后执行第二句,以此类推,最终执行完整个代码块。以下面的代码块为例:print("First Line!")print("Second Line!")print("Third Line!")输出结果:First Line!Second Line!Third Line!从结果可以看到,输出的内容顺序和我们写的代码顺序是一样的。像这原创 2022-05-04 00:01:06 · 648 阅读 · 0 评论 -
Python数据分析高薪实战第一天 python基础与项目环境搭建
开篇词 数据赋能未来,Python 势不可挡你好,我是千帆。互联网公司从红利下的爆发期,进入新的精细化发展阶段,亟须深入分析与挖掘业务与数据价值,从而找到新的增长点突破现有增长瓶颈。各行各业的数据分析需求井喷,数据分析人才成为争抢的对象,数据分析技能也成为一大职业亮点。想要掌握一项新技能,或者转行进入一个新行业,最难就在于起步阶段。而这个课程,我正是要带你从 0 开始掌握用 Python 做数据分析的能力,带你快速打通任督二脉。为何选用 Python 来学数据分析?1. Python:简单易用,原创 2022-05-04 00:00:50 · 1029 阅读 · 0 评论 -
Python爬虫第四课 appium和第MongoDB数据库
appium环境安装学习目标了解 appium环境的搭建2.1 环境安装以win10为例2.1.1 安装node.js点击进入 https://nodejs.org/zh-cn/点击下载安装包双击安装包,然后同样一路狂点下一步安装完成后在cmd终端中输入 node -v,显示版本号则表示安装成功2.1.2 安装java JDK点击进入官网下载页面 https://www.oracle.com/technetwork/java/javase/downloads/jd原创 2022-04-28 07:45:30 · 635 阅读 · 0 评论 -
Python爬虫第三课 Scrapy和Scrapy-redis
scrapy的概念和流程学习目标:了解 scrapy的概念了解 scrapy框架的作用掌握 scrapy框架的运行流程掌握 scrapy中每个模块的作用1. scrapy的概念Scrapy是一个Python编写的开源网络爬虫框架。它是一个被设计用于爬取网络数据、提取结构性数据的框架。Scrapy 使用了Twisted['twɪstɪd]异步网络框架,可以加快我们的下载速度。Scrapy文档地址:http://scrapy-chs.readthedocs.io/zh_CN/1.0原创 2022-04-27 12:14:08 · 886 阅读 · 0 评论 -
Python爬虫第二课 Selenium介绍和反爬技术
selenium的介绍知识点:了解 selenium的工作原理了解 selenium以及chromedriver的安装掌握 标签对象click点击以及send_keys输入1. selenium运行效果展示Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,Selenium 可以直接调用浏览器,它支持所有主流的浏览器(包括PhantomJS这些无界面的浏览器),可以接收指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏等。我们可以使用selenium很容易原创 2022-04-27 11:36:25 · 9231 阅读 · 0 评论 -
Python爬虫第一课 requests模块和数据提取
爬虫概述知识点:了解 爬虫的概念了解 爬虫的作用了解 爬虫的分类掌握 爬虫的流程1. 爬虫的概念模拟浏览器,发送请求,获取响应网络爬虫(又被称为网页蜘蛛,网络机器人)就是模拟客户端(主要指浏览器)发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序。原则上,只要是客户端(浏览器)能做的事情,爬虫都能够做爬虫也只能获取客户端(浏览器)所展示出来的数据知识点:了解 爬虫的概念2. 爬虫的作用爬虫在互联网世界中有很多的作用,比如:原创 2022-04-27 11:09:39 · 5446 阅读 · 0 评论 -
Python黑马头条推荐系统第五天 头条排序模型进阶-神经网络
黑马头条排序模型进阶7.1 神经网络基础与原理学习目标目标了解感知机结构、作用以及优缺点了解tensorflow playground的使用说明感知机与神经网络的联系说明神经网络的组成说明神经网络的分类原理说明softmax回归说明交叉熵损失应用无7.1.1 神经网络人工神经网络( Artificial Neural Network, 简写为ANN)也简称为神经网络(NN)。是一种模仿生物神经网络(动物的中枢神经系统,特别是大脑)结构和功能的 计算模型。经典的神经原创 2022-04-26 11:37:27 · 2451 阅读 · 0 评论 -
Python黑马头条推荐系统第四天 TensorFlow框架介绍和深度学习
深度学习与推荐系统6.1 推荐系统与深度学习关联学习目标目标无应用无6.1.1 深度学习到推荐系统深度学习发展成功与局限最近几年深度学习的流行,大家一般认为是从2012年 AlexNet 在图像识别领域的成功作为一个里程碑。AlexNet 提升了整个业界对机器学习的接受程度:以前很多机器学习算法都处在“差不多能做 demo ”的程度,但是 AlexNet 的效果跨过了很多应用的门槛,造成了应用领域井喷式的兴趣。成功的原因:是大数据,是高性能计算。大量的数据,比如说移原创 2022-04-26 11:05:18 · 4529 阅读 · 0 评论 -
Python黑马头条推荐系统第三天 实时计算和召回业务、推荐业务流实现与ABTest
实时计算业务4.1 实时计算业务介绍学习目标目标了解实时计算的业务需求知道实时计算的作用应用无4.1.1 实时计算业务需求实时(在线)计算:解决用户冷启动问题实时计算能够根据用户的点击实时反馈,快速跟踪用户的喜好4.1.2 实时计算业务图4.2 实时日志分析学习目标目标了解实时计算的业务需求知道实时计算的作用应用无日志数据我们已经收集到hadoop中,但是做实时分析的时候,我们需要将每个时刻用户产生的点击行为收集到KAFKA当中,原创 2022-04-26 10:56:53 · 1929 阅读 · 0 评论 -
Python黑马头条推荐系统第二天 离线用户召回集与排序计算
离线用户召回集与排序计算3.1 用户画像计算更新学习目标目标知道用户画像建立的流程应用无3.1.1 为什么要进行用户画像要做精准推送同样可以使用多种推荐算法,例如:基于用户协同推荐、基于内容协同的推荐等其他的推荐方式,但是以上方式多是基于相似进行推荐。而构建用户画像,不仅可以满足根据分析用户进行推荐,更可以运用在全APP所有功能上。建立用户画像确实是一个一劳多得的事情,不仅可以运用于精准推送、精准推荐、精准营销,更可以作为网站的用户属性分析,用户行为分析,商业化转化分析等。原创 2022-04-26 10:49:53 · 912 阅读 · 0 评论 -
Python黑马头条推荐系统第一天 架构介绍和离线计算更新Item画像
Python黑马头条推荐系统项目课程定位、目标定位课程是机器学习(包含推荐算法)算法原理在推荐系统的实践深入推荐系统的业务流场景、工具使用作为人工智能的数据挖掘(推荐系统)方向应用项目目标熟练掌握推荐系统的实时推荐业务流熟练掌握推荐系统lambda分布式计算工具、存储工具使用熟练掌握黑马推荐离线计算、在线实时计算解决方案1.1 黑马头条推荐业务架构介绍学习目标目标无应用无1.1.1业务简介黑马头条推荐系统建立在头条APP海量用户与海原创 2022-04-26 10:37:56 · 2306 阅读 · 1 评论