➤ 大数据
你个佬六
程序员各个都是佬六!!
展开
-
Hadoop集群初体验
一.前沿 最近招了一个推荐算法的兄弟,公司产品要设计一版根据用户的 分享,完播,收藏,评论,播放,点赞,浏览等行为事件,来为用户推荐一些用户感兴趣的数据。二.用户行为数据量很大,怎么处理? 是的,目前app注册用户有接近4000w,每天的活跃用户有200多w。用户的行为每天会有很多记录。经过统计,每天大概会有600w-800w的行为数据产生,如果要推荐,这些数据肯原创 2020-08-19 20:10:08 · 353 阅读 · 0 评论 -
【BigData】Jsoup+FusionCharts实现根据网页url解析网页数据,并用图表显示
一、前言 最近在研究大数据,要获取大数据的很好的方式就是使用网络爬虫,去爬网页上的数据,然后进行分析。下面小编就通过一个demo来爬一下“赶集网”的数据,然后用图表显示各种信息之间的情况。二、知识点弥补 这里小编主要用到了两个知识点:2.1 Jsoup 百度百科的理解是:jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一原创 2017-09-12 11:46:57 · 1012 阅读 · 17 评论