小萌猿的博客

本人的所有文章只是个人观点,欢迎批评指教

排序:
默认
按更新时间
按访问量

docker网络架构、路由

如上图:我启动了两个docker容器,docker1和docker2,这两个容器用的是同一个镜像(nginx镜像),两个分别将nginx的80端口映射到9090和9091端口,启动后可在Windows上正常访问nginx服务。今天写这个主要是记录一下该网络架构中的路由转发情况。 ![这里写图...

2018-06-17 23:03:39

阅读数:4

评论数:0

Hadoop多磁盘配置

这里给DataNode增加一个磁盘,具体步骤如下:(假设我的磁盘路径为/dev/vdb) 一、磁盘分区:fdisk /dev/vdb (具体分区可自定义,这里只分一个主分区/dev/vdb1) 二、磁盘格式化:mkfs.ext3 /dev/vdb1 (Linux下磁盘格式为ext系列,这里...

2018-06-02 22:44:05

阅读数:25

评论数:0

Mycat配置MySql的读写分离

我们知道MySql的存储引擎有两种:InnoDB和MyISAM,其中MyISAM是MySql的默认存储引擎,其实平时不会有太多人关心这个东西,但是对于实际的业务,存储引擎的合理选择是会对性能影响很大的因素。 以下是这两种引擎适合的场景: • MyISAM管理非事务表。它提供高速存储和检索,以及...

2018-05-21 16:15:26

阅读数:24

评论数:0

MyCat 的编码问题:Unknow character set utf8mb4,以及Mysql的一些问题

成功启动Mycat后,通过Navicat for MySql查看数据库表时,出错:Unknow character set utf8mb4在网上看到很多解决方法,大概两种思路:1、升级Mysql到5.5以上。 2、在 mycat配置文件中修改编码。 开始嫌升级数据库麻烦,就试着修改配置文件,结果...

2018-05-20 17:47:14

阅读数:27

评论数:0

Spark Standalone Mode配置HA

配置环境:node1、node2、node3 核心就是在spark-env.sh中添加(三台节点都添加): export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deplo...

2018-05-02 21:42:11

阅读数:23

评论数:0

Zookeeper在Hadoop与Storm中应用的区别

Hadoop与Storm都是典型的主从架构,但是在使用 Zookeeper时还是不太一样的。 一、对于Hadoop来说,所有的 slaves都需要向master汇报状态信息,比如:MapReduce里的Tasktracker会向Jobtracker汇报,从而,Jobtracker所在节点内存中会...

2018-04-19 10:36:28

阅读数:59

评论数:0

Yarn组件、SparkOnYarn

Yarn是主从架构 Yarn的四大组件:ResourceManager、ApplicationMaster、NodeManager、Container ResourceManager:运行在Master上的一个进程,负责集群的资源调度 NodeManager:运行在Slaver上的一个进程,...

2018-04-14 17:20:50

阅读数:32

评论数:0

Spark任务调度

RDD Objects: 两个RDD合并后分组、过滤 DAGScheduler: 将程序生成DAG图,并切割stage、划分Task(初始partition数量),将一个stage的task封装到一个taskset,并发送至TaskScheduler TaskScheduler 这个...

2018-04-13 11:23:51

阅读数:88

评论数:0

HBase启动错误

HBase集群:node1,node6,node7,node8 node1和node8是master,其中node8是backup,四台机器都是RegionServer,但是启动后通过Web页面只能查看到两台RegionServer:node1和node8 查看node6的日志:hbase...

2018-04-06 16:00:23

阅读数:24

评论数:0

Elasticsearch集群的脑裂问题

所谓脑裂问题(类似于精神分裂),就是同一个集群中的不同节点,对于集群的状态有了不一样的理解。 今天,Elasticsearch集群出现了查询极端缓慢的情况,通过以下命令查看集群状态: curl -XGET ‘es-1:9200/_cl...

2018-04-01 14:50:39

阅读数:31

评论数:0

ElasticSearch版本控制

• 普通关系型数据库使用的是(悲观并发控制(PCC)) 当我们在读取一个数据前先锁定这一行,然后确保只有读取到数据的这个线程 可以修改这一行数据 • ES使用的是(乐观并发控制(OCC)) ES不会阻止某一数据的访问,然而,如果基础数据在我们读取和写入的间隔中 发生了变化,...

2018-03-31 22:36:48

阅读数:44

评论数:0

Impala核心组件与架构

核心组件 • Statestore Daemon – 负责收集分布在集群中各个impalad进程的资源信息、各节点健康状况,同步 节点信息. – 负责query的调度 • Catalog Daemon – 分发表的元数据信息到各个impalad中 – 接收来自statestore的所...

2018-03-23 17:50:16

阅读数:45

评论数:0

KeepAlived与Zookeeper

keepalived VS zookeeper 两者都可以做高可用HA,那么有什么区别呢? 1.从主被动的角度考虑     我们知道,nginx server通常和keepa...

2018-03-22 22:05:35

阅读数:47

评论数:0

关于Zookeeper的几个小Tips

1、单节点的leader机制,用来保证消息处理的顺序性(在leader里通过一个队列来实现) 2、有时候,直接关机,没有停掉zookeeper,下次通过zkServer.sh 开启时,会显示开启成功,但是查看状态时却发现没有运行,这时候,可以直接删除掉我们安装Zookeeper时配置的data ...

2018-03-21 16:44:09

阅读数:69

评论数:0

MapReduce处理HBase出错:XXX.jar is not a valid DFS filename

原因:Hadoop文件系统没有检查路径时没有区分是本地windows系统还是Hadoop集群文件系统 解决: 只需将Map和Reduce的init方法最后一个参数(boolean addDependencyJars)设为false(默认为true)...

2018-03-16 18:00:46

阅读数:160

评论数:0

HBase体系架构

Client • 包含访问HBase的接口并维护cache来加快对HBase的访问 Zookeeper • 保证任何时候,集群中只有一个master • 存贮所有Region的寻址入口。 • 实时监控Region server的上线和下线信息。并实时通知Master • 存储HBa...

2018-03-13 11:57:13

阅读数:33

评论数:0

HBase数据模型

HBase简介 – HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩、 实时读写的分布式数据库 – 利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理 HBase中的海量数据,利用Zookeeper作为其分布式协同...

2018-03-13 11:17:05

阅读数:28

评论数:0

hive使用过程报的几个错

Hwi出错:org.apache.jasper.JasperException: Unable to compile class for JSP 解决:将java安装路径lib下的tools.jar添加到hive的lib中即可 调用python脚本出错:An error occurred wh...

2018-03-08 10:39:38

阅读数:51

评论数:0

Hive数据的数据存储

Hive建表后,表的元数据存储在关系型数据库中(如:mysql),表的数据(内容)存储在hdfs中,这些数据是以文本的形式存储在hdfs中(关系型数据库是以二进制形式存储的),既然是存储在hdfs上,那么这些数据本身也是有元数据的(在NameNode中),而数据在DataNode中。这里注意两个元...

2018-03-07 10:19:23

阅读数:78

评论数:0

hive启动出错:Found class jline.Terminal, but interface was expected

启动hive时报错,如下图: 原因:hadoop与hive的jline包版本不一致造成 解决:在hadoop安装路径下的share/hadoop/yarn/lib找到jline-xxx.jar 在hive路径下的lib里也找到jline-xxx.jar,会发现这两个包版本不一致,将其同步...

2018-03-04 22:12:16

阅读数:48

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭