![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
Xa_L
无名小辈
展开
-
大数据——个性化推荐系统
要知道什么是个性化推荐系统,那么就要先了解什么是推荐系统:什么是推荐系统推荐系统就是利用电子商务网站或APP向客户提供商品信息和建议,有意地引导用户的意向,帮助用户决定应该购买什么产品,模拟销售人员帮助客户完成整个购买过程。而个性化推荐系统是根据用户的兴趣特点和购买行为,向用户推荐用户感兴趣的信息和物品,使用户产生购买的意向。如果这些你对没有一个确切的概念,那么说购物网站上面每次所向你一些你...原创 2018-10-20 20:05:11 · 10067 阅读 · 1 评论 -
大数据——粗谈Apache Spark(计算引擎)
Spark产生的原因:1、MapReduce具有很多的局限性,仅支持Map和Reduce两种操作,还有迭代效率比较低,不适合交互式的处理,不擅长流式处理。2、现有的各种计算框架各自为战。Spark就是在一个统一的框架下能够进行批处理,流式计算和交互式计算。Spark的核心概念就是RDD(弹性分布式数据集)分布在集群中的对象集合,存储在磁盘或内存中。通过并行“转换”操作构造,失...原创 2019-10-24 20:56:21 · 3347 阅读 · 1 评论 -
大数据——粗谈Hadoop生态系统
首先,我们来介绍一下什么是Hadoop。Hadoop最核心的部件有两个,一为HDFS,所谓的HDFS,就是分布式的文件存储系统。二为Mapreduce,即为分布式的计算系统(分布式离线的计算框架)。上述的两个部件,解决了大数据的存储问题,还有解决了大数据的计算问题。剩下的基本上都是这两个所衍生出来的工具。Maperduce的编程语言:1、Jave(最原始的方...原创 2019-10-24 20:56:37 · 3608 阅读 · 1 评论 -
大数据——舆情监控系统
首先我们要知道什么是舆情监控系统,这个有什么用。舆情系统最主要的就是满足用户对网络舆情监测和热点时间等专题追踪等需求,尤其是在二十一世纪这个信息爆炸的时代,我们必须快速获取到对自己有用的热点新闻。网络舆情监控系统的架构:1、舆情规划,就是对舆情系统的用户进行需求分析,定位数据源等2、舆情采集,如关键词查询,以及去重处理,还有锚文件的处理,正文的抽取,页面解析等,将数据进行采集,然后...原创 2018-12-05 10:23:59 · 5921 阅读 · 1 评论