J-Chow-CSDN博客

转载 hiveserver2或sparksql和HApoxy远程服务的高可用和负载均衡

pache Spark 现在是大数据中非常流行的处理引擎，简单的API、内存计算、很好的性能、一站式的解决方案、良好的生态，Spark是大数据中最火的明星AngelaBaby。在Spark内部的多个组件中，SQL组件也是很多公司用的最多的一个内部组件。由于Spark SQL并不适用于大并发的场景，所以在实际的生产过程中发现，由于SparkSQL并不能限制用户数，经常会有过多的用户以及过多的任务，导

2017-11-19 21:06:17 817

转载三大主流软件负载均衡器对比(LVS VS Nginx VS Haproxy)

LVS：1、抗负载能力强。抗负载能力强、性能高，能达到F5硬件的60%；对内存和cpu资源消耗比较低2、工作在网络4层，通过vrrp协议转发（仅作分发之用），具体的流量由linux内核处理，因此没有流量的产生。2、稳定性、可靠性好，自身有完美的热备方案；（如：LVS+Keepalived）3、应用范围比较广，可以对所有应用做负载均衡；4、不支持正则处理，不能做动静分离。5、

2017-11-19 20:57:44 1021

转载剖析Disruptor

剖析Disruptor:为什么会这么快？(一)锁的缺点原文：http://ifeve.com/disruptor-locks-are-bad/作者：Trisha’s 译者：张文灼，潘曦整理和校对：方腾飞，丁一Martin Fowler写了一篇非常好的文章，里面不仅提到了Disruptor,而且还解释了Disruptor 如何应用在LMAX的架构里。里面有提及了

2017-11-18 22:12:58 359

原创 hbase集群搭建

1.上传hbase安装包 2.解压 3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了）注意：要把hadoop的hdfs-site.xml和core-site.xml放到hbase/conf下3.1修改hbase-env.shexport JAVA_HOME=/usr/java/jdk1.7.0_55//告诉hbase使用外部的zk

2017-09-18 22:12:31 360

转载 hiveserver2和zookeeper的HA搭建

在生产环境中使用Hive，强烈建议使用HiveServer2来提供服务，好处很多：1. 在应用端不用部署Hadoop和Hive客户端；2. 相比hive-cli方式，HiveServer2不用直接将HDFS和Metastore暴漏给用户；3. 有安全认证机制，并且支持自定义权限校验；4. 有HA机制，解决应用端的并发和负载均衡问题；5. JDBC方式，可以使用任何语言，方便与应

2017-09-18 21:57:23 3515

原创 hive2版本安装

cp hive-default.xml.template hive-site.xml3.export HIVE_HOME=/home/hadoop/cloud/apache-hive-2.1.1-bin export PATH=$HIVE_HOME/bin:$HIVE_HOME/conf:$PATH一、Hive 运行模式与 Hadoop 类似，Hive 也有 3 种运行模

2017-09-18 20:32:53 698

原创 hive安装

1 hive1版本安装hive1.2.1整合hadoop2.6.0 1.修改hive的bin目录下hive-config.sh，添加 JAVA_HOME=/opt/java/jdk1.7.0_79 HADOOP_HOME=/opt/hadoop-2.6.0 HIVE_HOME=/opt/apache-hive-0.13.0-bin2.在hive的conf目录添加文件

2017-09-14 15:22:00 203

原创 hadoop搭建

5.Hadoop搭建5.1 hadoop单机版搭建1.修改主机查看主机：Hostname-f修改主机：vim/etc/sysconfig/network 修改主机为hadoop01 修改映射关系vim /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.l

2017-09-14 14:59:19 206

原创 zookeeper集群

zookeepr集群zookeeper集群环境搭建，3个节点，分别是zookeeperserver01，zookeeperserver02 zookeeperserver03第一步：主机名称到IP地址映射配置ZooKeeper集群中具有两个关键的角色：Leader和Follower。集群中所有的结点作为一个整体对分布式应用提供服务，集群中每个结点之间都互相连接，所以，在配置的ZooKe

2017-09-14 14:57:16 230

原创 ssh免密码配置

ssh免密码登录配置SSH无密码登录的原理如下假设A机器想要通过SSH无密码登录访问B机器，则需要在A机器上生成一对秘钥（公钥+私钥），而后将公钥复制到B机器上；当A机器通过SSH链接B机器时，B机器就会生成一个随机数，并且使用A机器的公钥（通过上一步拷贝，B机器上有A机器公钥的拷贝）对随机数进行加密，并把加密的“密文”回送给A机器；A机器收到密文后，用自己的私钥解密，把解密后的“

2017-09-14 14:56:04 242

原创大数据社区版 jdk，ssh安装

2.1 jdk安装1.在/usr/目录下创建java目录[root@localhost ~]# mkdir/opt/java[root@localhost ~]# cd /opt/java2.下载jdk,然后解压[root@localhost java]# curl -O http://download.Oracle.com/otn-pub/java/jdk/7u79-b15/

2017-09-14 14:52:57 295

jianchow的博客