![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 85
贝特爱
毕业于浙江大学,工作近十年!
展开
-
大数据生态圈单节点环境搭建(hadoop、hbase、spark等)
接触大数据已经有将近三年多时间了,实际项目也有将近两年多,这篇文章写给哪些和我当初刚学大数据时的朋友们,让大伙少走点弯路,千里之行始于足下,所以还是从单节点的大数据集群环境搭建开始,后续我有时间会陆续进行更新新的博客。 准备工作linux机器一台hadoop-2.4.1 文件hbase-1.0.0 文件jdk-8u45-li...原创 2017-04-06 23:57:33 · 294 阅读 · 0 评论 -
Hadoop生态圈完全分布式集群环境搭建
一:事前准备工作:1.最少4台服务器,当然也可以为虚拟机2.hadoop、hbase、spark、jdk、zookeeper的安装包(需要版本都是相互兼容的,这个可以从官网看到)3.系统为centos7如果是新学者可以看我另一篇关于单节点大数据环境部署和安装的文章 二:Linux系统配置更改linux名称hostnamectl set-hostname hos...原创 2017-04-08 10:48:59 · 662 阅读 · 0 评论 -
scala实现spark读取文件、清洗、入库base中
日常工作中我们往往面对的数据都是海量的文件数据,我们如何快速通过spark将文件导入到hbase库中,我这写了一个简单的例子仅供参考,实际上数据是需要经过清洗才能放入到hbase库中的。 由于数据文件内容涉及到公司实际项目,不便贴出,此文着重spark提出数据、清洗、入hbase库这个逻辑的实现,scala写的代码比较精简,代码如下: ParseClien...原创 2017-04-08 11:37:52 · 1876 阅读 · 0 评论 -
机器学习语言及朴素贝叶斯算法
最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型(Naive Bayesian Model,NBM)。朴素贝叶斯分类器基于一个简单的假定:给定目标值时属性之间相互条件独立。通过以上定理和“朴素”的假定,我们知道:P( Category | Document) = P ( Document | Category ) * P( Categor...原创 2017-04-08 12:22:50 · 150 阅读 · 0 评论 -
商品推荐模型分析、实现.(scala)
对于商品推荐模型,在上一家公司时,就当做课题进行了研究、学习,并取得一定的成果,现在就发博文贴出来,供后面再回头看看,也供大伙参考。 商品推荐模型可以分为两种:基于内容推荐、协同过滤推荐 一:基于内容的推荐举个简单的小例子,我们已知道用户u1喜欢的电影是A,B,C用户u2喜欢的电影是A, C, E, F用户u3喜欢的电影是B,D我们需要解决的问题是:决定对u...原创 2017-04-16 23:32:11 · 2731 阅读 · 0 评论