记录一次完整的爬虫流程

一般来说,平台上爬取内容的方案有两种:
一种是通过web,即借助基于puppeteer的爬虫方案
另一种是通过app,即借助基于uiautomator2的UI自动化方案

本次介绍web爬取的方案,这里需要简单学习下puppeteer框架(相关资料https://github.com/GoogleChrome/puppeteer)
下面介绍具体操作流程:
(1)如何用代码定位网页上的一个元素?
Chrome的开发者工具可以很好地帮助我们完成这个工作,以百度应用商店为例:

单击一下,会发现在开发者工具的Elements这个tab中有一个元素被高亮了,这就是待定位的元素的HTML代码,右键点击该元素,按照下图选择Copy selector,即可得到该元素在页面中的代码定位
在这里插入图片描述
至此,拥有了开发者工具帮我们确定的元素的selector,我们就可以对其进行一系列操作了,比如输入、点击等操作
(2)环境的初始化流程
我们需要创建一个浏览器示例,同时还需要让浏览器生成一个新页面,这样才能进行我们之后的操作,大致代码如下:

const browser = await puppeteer.launch({
    args: ["--proxy-server='direct://'", '--proxy-bypass-list=*']
});
const page = await browser.newPage();

有了这个page变量,我们才方便进行接下来的操作

(3)如何正确地进行输入?
从第(1)步中我们可以获得一个元素的selector,但是如果想要在一个元素中输入内容的话,首先需要保证它是一个,其次需要通过如下代码selector转换成元素后再进行输入(上图中Copy下来的selector是#searchText)

const searchInputSel = '#searchText';
let inputEle = await page.$(searchInputSel
  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
一、主要路径分析 一切能够进行产品推广、促进用户使用、提升用户粘性和留存、用户自传播、让用户付 费的行为都可以称为运营。在运营中我们可以用AARRR增长模型将产品的运营路径拆分为 :激活、注册、留存、下单、传播,然后根据每个路径进行分析,从而优化产品和运营 策略。 1. 激活 不同行业和模式的激活方式都不太一样,例如:之前我们做的体育app激活方式为——从跑 步群里面导入用户和微信公众号导入,先把目标用户沉淀在微信群,然后利用大型马拉 松的名额来吸引他们呼吁用户下载app进行报名。 然而对于B2B的电商平台,用户激活主要以地推和客服推广为主。因为入驻平台需要一定 的资质证件,且用户自发性地在网上注册的比较少,但地推方式激活的相对成本较高。 2. 注册 注册的时候,常常会因为某个步骤文案描述不清或流程复杂,要求上传的证件太多等原 因让用户流失。这时候,我们就可以用漏斗分析用户是在哪个步骤流失严重,分析具体 原因后再进行产品优化。 3. 留存 用户激活和注册后我们需要看用户的留存率,每个应用对留存的时间定义都是不一样的 。例如: 对于社交软件而言,如果3天不登录可能就被标记为流失用户; 对于我们现在做的医药电商来说,一般用户的采购周期在15天左右,所以我们把超过15 天没下单的用户称为流失用户,对于流失用户我们一般会采取和发送优惠券的方式促进 他再次下单。 4. 营收 我们需要理解到:作为电商平台只有平台提供的商品价格、品类、物流服务有吸引力后 ,用户才愿意来下单。 如果用户在需要购买该商品的时候没有下单,那多半是自身的商品和竞争对手相比,在 价格和服务上吸引力不够。这时候我们就需要通过爬虫爬取竞争对手的商品数据,然后 调整自己的定价和适当做一些营销活动来吸引客户。 5. 传播 由于我们获客成本比较高,因此让用户自传播的方式去拉新也是一种可行的营销方式, 针对这个,我们做了邀请好友得优惠券的方式,鼓励用户去帮我们拉新。 二、行为数据分析 分析的目的:了解用户的使用习惯、使用路径以及使用频率,从而得出用户更偏向于使 用哪些功能,验证产品用户体验是否做得好,上线的运营活动是否受欢迎等。 做行为数据分析之前,首先我们需要做埋点,埋点可以采用第三方埋点和自己做埋点。 各有利弊,这个需要结合公司来做决定。 下面是我们之前做的埋点的表格和用户每次行为记录的字段。埋点主要分为点击事件和 页面曝光两类,然后又可以根据页面曝光事件来统计页面的停留时长和用户的路径。 用户每促发一次事件需要记录的字段(具体还需要根据公司需要采集的数据而定): source; //来源 001-app 002-pc logined; //是否已经登录 1-是,0-否 typeUser; //用户的类型 001-采购商 002-供应商 userId; //用户的id codePage; //页面对应的代码 numEvent; //事件编号 nameEvent; //事件名称 codeEvent; //事件代码 typeEvent; //事件类型 timeEvent; //事件发生的时间 purchaserId; //采购商id ip; //作用是解析地址或识别客户 province; //事件发生的省份 city; //事件发生的城市 os; //操作系统,android或ios mfrs; //生产厂商 如:华为,OPPO,苹果,VIVO typeUnit; //设备型号 如:荣耀R10,OPPO R7,iphone X,VIVO X20 versionSystem; //系统版本 如:android 5.0wifi; //是否使用 wifi,1-是,0-否 firstId; //一级id secondId; //二级id fromPage; //上一页 toPage; //下一页url; // parameter; //参数,同一事件可能包含多个参数 property; //属性,与参数对应 proJson; //KEY-VALUE对的JSON形式 remark; //备注埋点记录的类型和规则 行为数据需要分析的内容 对于电商平台来说主要分析的点有: 1. 用户的注册路径:分析每个注册步奏的转化率,在转化率低的步骤分析原因,然后进行 产品优化。 2. 用户的购买路径: 首页-搜索-购物车-提交订单页- 支付页,通过每个路径的转化率来分析用户在哪个阶段流失最严重,然后去分析用户流 失的原因。 例如:之前我们分析到用户在购物车到提交订单页流失得特别严重,后面经过分析得出 商家设置的最近购买金额太高,导致用户达不到购买金额而提交不了订单。后面我们和 商家协商降低最低购买金额后,转化率提升了不少。 3. 分析运营上线的营销活动的用户点击率、通过活动加入购物车购买的商品数量,从

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值