![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
代码痴汉
这个作者很懒,什么都没留下…
展开
-
hadoop中ssh免密码登录设置不成功
authorized_keys的权限要是600!!![root@B ~]# chmod 600 /root/.ssh/authorized_keys原创 2016-10-16 22:41:12 · 2097 阅读 · 0 评论 -
hbase和hive整合
版权声明:本文为博主原创文章,未经博主允许不得转载。 http://blog.csdn.net/a2011480169/article/details/51588253近期工作用到了Hive与Hbase的关系整合,虽然从网上参考了很多的资料,但是大多数讲的都不是很细,于是决定将这块知识点好好总结一下供大家分享,共同掌握! 本篇文章在具体介绍Hive与Hbase整合之前,先给大家用一个流程图...转载 2018-02-26 12:12:12 · 284 阅读 · 0 评论 -
HBase应用场景
文章来源:https://yq.aliyun.com/articles/37284 在使用HBase一定要明白HBase的适用场合,因为HBase并非适用于每种情况。首先,要确认有足够多的数据存入HBase。 如 果有几亿或者几十亿条记录要存入HBase,那么HBase就是一个正确的选择;否则如果你仅有几百万条甚至更少的数据,那么HBase当然不是正确的选 择,这种情况下应当选择传统的关系转载 2018-01-30 17:54:50 · 1118 阅读 · 0 评论 -
hadoop集群及相关服务的启动、停止shell脚本
之前一直是手动启动,一个一个命令敲,好麻烦,最近写了一个启动和暂停的脚本分享给大家启动脚本start-cluster.sh#!/bin/shecho -e "\033[31m ========Start The Cluster======== \033[0m"# start hadoop clusterecho -e "\033[31m Starting Hadoop Now !!! \033[原创 2017-09-03 15:11:54 · 2176 阅读 · 0 评论 -
hbase坑一:hbase shell启动报错
问题:在三台机器搭建了hadoop+zookeeper+hbase集群,在master节点启动了hdfs、yarn、zookeeper、hbase,然后在master节点执行hbase shell的时候报错org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss原创 2017-09-02 12:56:33 · 4387 阅读 · 2 评论 -
hbase坑二:shell终端执行命令报错ERROR:org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
报错:ERROR:org.apache.hadoop.hbase.PleaseHoldException: Master is initializing可能的原因如下:1. 时间没有同步 HBase需要结点间的时间必须是同步的,可以使用date命令在Linux查看时间(同步时间命令:ntpdate 1.cn.pool.ntp.org)原创 2017-09-02 15:39:54 · 5072 阅读 · 0 评论 -
zookeeper原理
1 Zookeeper简介Zookeeper 是分布式服务框架,主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等等。2 zookeeper基本概念2.1角色Zookeeper中的角色主要有以下三类,如下表所示:系统模型如图所示:2.2设计目的1.最终一致性:client不论连转载 2017-09-02 13:15:57 · 217 阅读 · 0 评论 -
HBase坑三java代码进行操作报错hbase Caused by: java.net.ConnectException: Connection refused: no further inform
错误:hbase Caused by: java.net.ConnectException: Connection refused: no further informa我的/etc/hosts文件内容为:192.168.1.200 master192.168.1.201 node1192.168.1.202 node2但是我的centos集群配置的双IP 另一个组网络是:192.168.31原创 2017-09-03 21:34:13 · 10516 阅读 · 0 评论 -
浅谈对spark的理解
spark中重要的两个概念sparkContext,rdds 1. sparkContext是连接spark分布式集群的入口,在scala shell中默认为“sc” 2. rdds叫做弹性分布式数据集,理解为spark分布式环境中的数据,该数据存储在内存之中 整个交互过程如图所示:sparkContext从hadoop的hdfs中取数据源,加载到spark中的rdds中,最后对rdds进行相原创 2017-07-29 18:32:14 · 1071 阅读 · 0 评论 -
hadoop系列之hive
hive是一个数据仓库工具,可以看成是从SQL到Map-Reduce的映射器,使用类SQL的语法。原创 2017-05-21 18:01:07 · 223 阅读 · 0 评论 -
hive通过文件导入数据全部是NULL
创建表的时候需要指定行和列分隔符,否则使用load data …命令导入数据全部为NULLcreate table test (id int,name string) row format delimitedfields terminated '\t'注意:‘\t’是反斜杠test.txt文件中间隔为一个’tab’键的距离1 li2 bing3 lily原创 2017-05-22 12:31:58 · 9041 阅读 · 2 评论 -
mapreduce和yarn
YARN并不是下一代MapReduce(MRv2),下一代MapReduce与第一代MapReduce(MRv1)在编程接口、数据处理引擎(MapTask和ReduceTask)是完全一样的, 可认为MRv2重用了MRv1的这些模块,不同的是资源管理和作业管理系统,MRv1中资源管理和作业管理均是由JobTracker实现的,集两个功能于一身,而在MRv2中,将这两部分分开了, 其中,作业管理由转载 2017-05-09 19:49:18 · 248 阅读 · 0 评论 -
hbase和hive整合问题
hbase和hive整合后从hive创建hbase表报错如下: 百度一番后在csdn找到这篇文章: http://blog.csdn.net/u010376788/article/details/50905476 在Hive继承HBase中,二者的通信包就是hive-hbase-handler.jar,极其重要。如果我们用$HIVE_HOME/lib目录下的hive-hbase-hand...原创 2018-02-26 17:57:47 · 337 阅读 · 0 评论