![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
15005153460
这个作者很懒,什么都没留下…
展开
-
cnet6.5 32bit 安装spark
1、查看系统环境[plain] view plain copy print?cat /etc/redhat-release uname -r uname -m cat /etc/redhat-releaseuname -runame -m关闭所有服务器的防火墙[plain] view plain copy p转载 2016-12-25 21:41:40 · 621 阅读 · 0 评论 -
错误Name node is in safe mode的解决方法
执行命令:bin/hadoop dfsadmin -safemode leave原创 2017-05-04 11:35:21 · 607 阅读 · 0 评论 -
flume+kafka+storm+hdfs整合
个人观点:大数据我们都知道hadoop,但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理,hadoop还是比较适合的,但是对于实时性比较强的,数据量比较大的,我们可以采用Storm,那么Storm和什么技术搭配,才能够做一个适合自己的项目。下面给大家可以参考。可以带着下面问题来阅读本文章:1.一个好的项目架构应该具备什么特点?2.本项目架构是如何保证数据准确性的?3原创 2017-05-06 18:03:58 · 2181 阅读 · 0 评论 -
impala刷新hive或者hbase中表的结构或数据
1. 在hive或者hbase中有表的结构,在impala中没有表结构用下面命令同步元数据INVALIDATE METADATA;2. 如果两边都有表结构了,但是impala中表无数据用下面命令同步refresh table_name;原创 2017-05-17 20:03:30 · 974 阅读 · 0 评论 -
Hadoop namenode重新格式化需注意问题
1、重新格式化意味着集群的数据会被全部删除,格式化前需考虑数据备份或转移问题; 2、先删除主节点(即namenode节点),Hadoop的临时存储目录tmp、namenode存储永久性元数据目录dfs/name、Hadoop系统日志文件目录log 中的内容 (注意是删除目录下的内容不是目录); 3、删除所有数据节点(即datanode节点) ,Hadoop的临时存储目录tmp、nameno原创 2017-05-10 10:29:11 · 1928 阅读 · 0 评论 -
org.apache.hadoop.ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8031
hadoop的单机和伪分布也搭建过两次,遇到过一个很有意思的问题才解决,就是在8088端口的页面上总是没有资源,看了一下datanode的节点上的日志看了datanode的日志好像没有问题,在datanodemanager的相关日志yarn开头的日志文件里有org.apache.hadoop.ipc.Client: Retrying connect to server: 0.0.0.0原创 2017-06-20 20:33:16 · 6067 阅读 · 0 评论 -
hive单节点安装
hive单节点安装1.tar -zxvf hive*.tar.gz2.cd hive3.cp conf/hive-default.xml.template conf/hive-site.xml cp conf/hive-env.sh.template conf/hive-env.sh cp conf/hive-log4j.properties.tem原创 2017-04-28 16:05:47 · 790 阅读 · 0 评论