工作后大家就会发现一个问题,工作并不仅仅是做好自己手里这一块就万事大吉的。你需要了解一些基本的上游与下游工作内容,这样在协作沟通的时候双方频率相同,效果往往出奇的好。
从个人核心竞争力这块来说,多学多琢磨,往往是有百利而无一害的对不?
今天这篇就讲讲数据分析师的上游:爬虫工程师。
爬虫是什么?
就是我们自己到网页上摘取的数据,这个数据遵循我们制定的规则。
比如我们要爬取天猫平板电视的情况:一级爬取:月销量、店铺名、价格、名称
步骤:
第一步:打开网页
注意查重,看看自己的名字是否与其它的名字重复。
第二步:标注需要采集的信息
双击需要爬取的版块,并为版块起个标签的名字,用标签来代表各个版块,方便爬取的时候检索,标签与标签之间可以有映射关系,通常在相同的爬取标签时采用
第三步:样例复制
样例则是我们第二步标注的所有标签,我们点击任何一个标签,找到它的DOM节点:
右击样例节点>选择样例复制映射>第一个
选择第二个样例,
右击样例节点>选择样例复制映射>第二个
最后在定位选项中选择“绝对定位”
第四步:翻页
拉到页面最后,找到翻页区,点击翻页去,把翻页区设置为翻页映射