随着大数据和人工智能的火爆,网络爬虫也被大家熟知起来。随之也出现一个问题,爬取隐私数据是违法的。其实,网络爬虫作为一门技术,技术本身是不违法的,且在大多数情况下,大家都可以放心的使用。但也有特殊情况,就是涉及到隐私数据。
触碰底线的隐私数据:
· 我想要访问某网站的手机号码,可以吗?
· 我想要朋友圈数据
今天跟大家说说隐私数据的问题,弄清楚了这些你才算是懂得大数据采集/网络爬虫技术,从而恰当好处地运用。
隐私数据包括哪些?
1.个人登录的身份、健康状况。网络用户在申请上网开户、个人主页、免费邮箱以及申请服务商提供的其他服务(购物、医疗、交友等)时,服务商往往要求用户登录姓名、年龄、住址、居民身份证编号、工作单位等身份和健康状况,服务商有义务和责任保守个人秘密,未经授权不得泄露。
如“凤凰网站”隐私权保护声明中指出:“本网站将对您所提供的资料进行严格的管理及保护,本网站将使用相应的技术,防止您的个人资料丢失、被盗用或遭篡改。”
2.个人的信用和财产状况,包括信用卡、电子消费卡、上网卡、上网帐号和密码、交易帐号和密码等。个人在上网、网上消费、交易时,登录和使用的各种信用卡、帐号均属个人隐私,不得泄露。
3.邮箱电址,邮箱地址同样是个人隐私,用户大多数不愿将之公开。掌握、搜集用户的邮箱并将之公开或提供给他人,致使用户收到大量的广告邮件、垃圾邮件或遭受攻击而不能正常使用,使用户受到干扰,显然也侵犯了用户的隐私权。
4.网络活动踪迹。个人在网上的活动踪迹,如IP地址、浏览踪迹、活动内容,均属个人的隐私。
所以,以上触碰底线的隐私数据,前嗅都做不到。浏览器不能公开访问的内容,属于黑客行为。
前嗅能为您做的,即所有公开数据。大家可以在互联网上看见的、都属于公开的数据。
前嗅都可以采集什么内容?
新闻类网站
新闻类网站,所有网站上能看到的东西都是可以采集的哦~
可以采集的内容包括:标题;作者;发布时间;新闻来源;二级标题;摘要;内容;视频网址;图片链接;语言;新闻类型;发布状态;删除状态;网址;网站名;内容源码等。
论坛类网站
论坛类网站,能采集到的,包括:帖子;发帖人;发帖时间;发帖数;发帖人关注数;发帖内容,回复内容等。
招聘类网站
招聘类网站,需要重点强调一下,需要付费才能看到的简历,不能采集!非公开的应聘者简历不能采集!
能采集的包括:公司名;招聘岗位;网页链接;职位分类;工作地点;专业需求;公司介绍;投递地址;所属行业;工作内容;工作要求;其他信息等。
企业信息类网站
应相关法律法规要求,全国工商信息系统,不能采集! 可以采集的网站中,能采集的内容包括:统一信用代码;纳税人识别号;注册号;组织机构代码;企业类型;所属行业;核准日期;登记机关;所属地区;英文名;曾用名;参保人数;人员规模;营业期限;企业地址;经营范围;法人公司分布等。
电商类网站
电商网站是否可以采集需要提前与技术顾问沟通,浏览电商网站某产品的用户手机号码不能采集!
可以采集的内容:价格;名字;关键词;图片链接;付款人数;链接地址等。
黄页类网站
黄页类网站和新闻类网站相同,基本上所有公开的信息都可以采集~ 可以采集的内容:联系人;联系电话;公司名;网址等。
搜索引擎类
搜索引擎需要用户提供登录账号以及关键词,配置很简单,采集的时候无效数据会比较多。采集的内容当然也是能看到的啦~
海量网站配置
这个海量网站配置就有点厉害了,这项主要针对需要采集整个行业信息网站的用户,可以将上万个网站放入软件中,通过软件强大的处理功能,进行数据采集,从而获取全面的行业信息。