大数据组件
洋哥哥db
可以
展开
-
hadoop 报错Got too many exceptions to achieve quorum size 2/3. 3 exceptions thrown:异常解决办法
错误缘由:start-dfs.sh启动hadoop ha时,namenode两个节点一会都挂了原因:在执行start-dfs.sh的时候,默认启动顺序是namenode>datanode>journalnode>zkfc,若是journalnode和namenode不在一台机器启动的话,很容易由于网络延迟问题致使NN没法链接JN,没法实现选举,最后致使刚刚启动的namenode会忽然挂掉一个主的,留下一个standy的,虽然有NN启动时有重试机制等待JN的启动,可是因为重试次数限制,可能原创 2022-02-25 20:57:33 · 1611 阅读 · 0 评论 -
HBASE
Hbase: *海量数据的存储 *海量数据的查询 秒级别 Table Columnfamily Column01,column02 每条数据有唯一的标识符 面向列的数据库Rowkey+cloumnfamily+column01+timestamp : value =>cellHbase没有单节点故障...原创 2020-04-08 10:22:48 · 81 阅读 · 0 评论 -
hadoop的启动过程
namenode启动过程第一次启动namenode1.格式化namenode生成镜像文件fsimage2.启动namenode读取fsimage镜像文件3. 启动datanode对hdfs文件系统各种操作,生成edits编辑日志第二次启动namenode1.读取fsimage镜像文件,读取edits编辑日志2.合并上次的镜像文件和编辑日志,生成新的fsimage镜像文件和一个空的...原创 2019-10-24 14:18:22 · 307 阅读 · 0 评论 -
hive
Hive的几种数据模型一.内部表 (Table 将数据保存到Hive 自己的数据仓库目录中:/usr/hive/warehouse)二.外部表 (External Table 相对于内部表,数据不在自己的数据仓库中,只保存数据的元信息)三.分区表 (Partition Table将数据按照设定的条件分开存储,提高查询效率,分区-----> 目录)四.桶表 (Bucket Table本...原创 2019-10-24 14:28:36 · 116 阅读 · 0 评论