![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
大数据开发方向
小洪鼠
这个作者很懒,什么都没留下…
展开
-
错误:master: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).
搭建Hadoop完全分布式集群中出现master: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).问题。出现这问题是因为免密登录配置上的缺陷导致,所以只要解决免密问题即可。如果是master 开头的,说明是本地的免密配置文件没有配置好。ssh localhost -- 也会让你输入密码的,可以使用这个命令测试一下,如果还是让输入密码那就是本机的免密配置没有配置。处理方法是 cat /root/.ss原创 2021-06-14 11:25:59 · 10434 阅读 · 0 评论 -
hive数据仓库用户行为分析的简单实践
步骤一创建数据库仓库导入数据对small_user.csv数据进行预处理然后得到user_table.txtHdfs下创建bidata/dataset目录将本地的hongshixing_table.txt上传到hdfs查看数据在hive中创建数据库创建外部表在hive中查看数据步骤二进行 hive数据分析查看表结构简单查询分析1、用聚合函数 count()计算出表内有多少条行数据2、在函数内部加上 distinct,查出 uid 不重复的数据有多少条3、查询原创 2020-09-19 13:16:33 · 2478 阅读 · 2 评论 -
namenode无法启动,格式化失败
namenode无法启动,格式化失败格式化提示 hdfs namenode -format20/08/24 22:43:44 INFO namenode.NameNode: STARTUP_MSG: /************************************************************STARTUP_MSG: Starting NameNodeSTARTUP_MSG: host = Master/192.168.196.128STARTUP_MSG:原创 2020-08-24 23:44:49 · 10483 阅读 · 2 评论