大数据
萌吖与小胖
这个作者很懒,什么都没留下…
展开
-
sklearn之朴素贝叶斯进行分类
from sklearn import preprocessingimport numpy as npimport pandas as pdfrom sklearn.metrics import classification_reportfrom sklearn.model_selection import train_test_splitfrom sklearn.naive_bayes import MultinomialNBfrom sklearn.preprocessing import原创 2020-06-03 16:03:01 · 725 阅读 · 0 评论 -
mahout 推荐系统
参考 :https://www.cnblogs.com/leboop/p/9453756.html原创 2019-05-05 21:24:13 · 2298 阅读 · 1 评论 -
mahout实现基于物品的协同过滤算法(单机版)
参考:https://www.imooc.com/video/15792https://blog.csdn.net/greenhandzhang/article/details/18369697https://www.cnblogs.com/cjsblog/p/8177065.html算法(不适用余弦或者皮尔森算法计算相似度)分析:首先得到用户对物品的评分数据,是一个m*n矩阵,也就是所...原创 2019-04-25 10:51:35 · 771 阅读 · 0 评论 -
mahout报错classNotFound----jar包问题
只要用maven添加mahout-core和mahout-integration就行了,其他的包会自动依赖添加进去的。就这错,整整一天多的时间,结果发现是jar包版本的问题,妈的,只用maven就好了嘛,省的自个麻烦。...原创 2019-04-14 21:48:41 · 253 阅读 · 0 评论 -
The processing instruction target matching "[xX][mM][lL]" is not allowed.
org.xml.sax.SAXParseException; systemId: file:/usr/local/hadoop-2.7.6/etc/hadoop/hdfs-site.xml; lineNumber: 4; columnNumber: 6; The processing instruction target matching “[xX][mM][lL]” is not allowed...原创 2019-04-03 20:26:03 · 732 阅读 · 0 评论 -
hadoop搭建之linux配置java6的环境变量
不小心把/etc/profile文件删了,重新写一个:vi /etc/profile最讨厌在vi上面编辑,搞了一上午,直接把下面的内容复制进去吧。注意要空两格再复制,否则会丢失字符。/etc/profile: system-wide .profile file for the Bourne shell (sh(1))and Bourne compatible shells (bash(1),...原创 2019-04-03 10:36:26 · 291 阅读 · 0 评论 -
Hadoop 启动后使用JPS查看没有DataNode
最简便的方法:参考:https://blog.csdn.net/dongzhongyan/article/details/594976533.删除DataNode的所有资料(及将集群中每个datanode的/hdfs/data/current中的VERSION删掉,然后执行hadoop namenode -format重启集群,错误消失。<推荐>)...原创 2019-04-07 09:21:26 · 1156 阅读 · 0 评论 -
搭建hadoop环境,竟然到了hdfs找不到命令
参考:https://blog.csdn.net/qiangzi_lg/article/details/80528924rm /etc/profilevi /etc/profile/etc/profile: system-wide .profile file for the Bourne shell (sh(1))and Bourne compatible shells (bash(1...原创 2019-04-06 12:23:41 · 7715 阅读 · 1 评论 -
hadoop: command not found
https://www.cnblogs.com/huxinga/p/6852860.html原创 2019-04-05 15:58:26 · 725 阅读 · 0 评论 -
hadoop 8088端口网页无法打开
需要修改/etc/hosts文件:加上本地主机的ip地址。参考:https://blog.csdn.net/kouryoushine/article/details/78401976原创 2019-04-04 10:36:29 · 3295 阅读 · 0 评论 -
ssh免密码登陆
由于启动hadoop需一遍遍输入密码,不方便,故设置ssh免密登陆本机 ssh-keygen -t rsa -P "" 输入这个命令后一直回车就可以了 cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys 切换到安装目录 格式化namenode:./bin/hadoop nameno...原创 2019-04-03 21:26:17 · 124 阅读 · 0 评论 -
hadoop在windows下的配置(不需要cygwin)
参考:https://www.cnblogs.com/wuxun1997/p/6847950.htmlhttps://blog.csdn.net/a2099948768/article/details/79577246#commentBox命令如下:hdfs namenode -formatcd D:\hadoop-2.7.6\sbinstart-all.cmd不要关闭打开的四个...原创 2019-03-10 00:12:34 · 140 阅读 · 0 评论 -
Windows+cygwin环境配置
以管理员身份启动cygwin后$ ssh-host-config*** Info: Generating missing SSH host keys*** Query: Overwrite existing /etc/ssh_config file? (yes/no) yes*** Info: Creating default /etc/ssh_config file*** Query:...原创 2019-03-09 01:32:28 · 2520 阅读 · 0 评论 -
apriori算法实现推荐系统
根据最小支持度去掉一些项集原创 2019-03-03 00:17:31 · 1543 阅读 · 0 评论