自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(78)
  • 收藏
  • 关注

原创 LVS+keepalived实现mysql负载均衡和开机自启

一、架构 Mysql-cluster本身实现了高可用,但是其sql节点并没有实现负载均衡。怎样让程序能均衡地访问sql节点呢,程序里写哪个数据库服务器IP呢? LVS是实现负载均衡作用的,即将客户端的需求采用特定的负载均衡算法分发到后端的Web应用服务器上。 Keepalived是用来实现高可用的,提供健康检查,故障转移,即保证主LVS宕机后,从LVS可以在很短时间顶上,从而保证了系统或网站的稳定性。Keepalived在后端的realserver接收不到主节...

2020-09-29 10:41:27 32

原创 Mysql Cluster 集群搭建和开机自启

一、前言MySQL的集群方案有很多,比如自带的MySQL Replication,官方的MySQL Fabirc、MySQL Cluster,还有三方的MMM、MHA等等,每个方案都是各自的优缺点,选型无非是要考虑高可用性、可伸缩性、负载均衡等等。二、介绍MySQL Cluster 是MySQL 官方集群部署方案,它的历史较久。支持通过自动分片支持读写扩展,通过实时备份冗余数据,是可用性最高的方案,声称可做到99.999%的可用性。MySQL NDB Cluster架构按照节点类型分为.

2020-09-29 10:10:21 65

原创 MyBatis动态创建SqlSessionFactory

一、前言 云平台上运行了很多项目,根据项目id动态的切换数据库,MyBatis启动的时候只会加载一次,很显然无法满足。每次有新项目上传都需要改配置文件然后重启,太low了,所以需要自己根据项目id手动创建SqlSessionFactory进行数据库连接。 原理:将SqlSessionFactory放入Map集合里,判断对应项目id是否创建SqlSessionFactory,若没创建就创建新的,Map有点话就更加动态切换。 动态创建SqlSessionFactor...

2020-09-04 18:26:47 98

原创 DBeaver连接phoenix、hive

一、DBeaver介绍DBeaver dbeaver是免费和开源(GPL)为开发人员和数据库管理员通用数据库工具,是一个通用的数据库管理工具和 SQL 客户端。支持数据库: MySQL、Oracle、PostgreSQL、IBM DB2、Microsoft SQL Server、clickhouse、phoenix、hive、redis、Sybase、ODBC、Java DB (Derby)、Firebird (Interbase)、HSQLDB、SQLite、Mimer、H2、I...

2020-07-03 09:48:51 217

原创 python mysql API

一、环境准备mysql安装https://mp.csdn.net/postedit/81771687 下载依赖包 pip3 install pymysql二、接口调用以下罗列两种实现方式,第一种:是原生的;第二种:集成pandas的,原理是ORM对象关系映射技术,即ORM(Object-Relational Mapping)技术,指的是把关系数据库的表结构映射到对象上,通过使...

2019-06-19 17:55:26 218

原创 python phoenix API

一、phoenix Phonix是搜索引擎,n个版本之前是作为独立的产品存在的,现在集成到hbase里面。Phoenix是一个开源的HBASE SQL层。Phoeinx可以用标准的JDBC API替代HBASE client API来创建表,插入和查询查询HBASE中的数据。Phoenix作为应用层和HBASE之间的中间件,以下特性使它在大数据量的简单查询场景有着独有的优势...

2019-06-19 17:36:29 566

原创 python redis API

一、redis  redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,redis支...

2019-06-19 17:20:33 92

原创 python happybase API

一、环境准备下载happybase包 pip3 installhappybase 安装thrift 安装步骤:https://mp.csdn.net/postedit/82250725二、接口调用使用连接资源池方式configuration.properties[Hbase]hbase_host:172.8.10.xxhbase_port:9090hbase...

2019-06-19 17:00:56 686 1

原创 CenOS系统设置服务自启

1、建立服务文件以thrift、redis集群服务为例vim /usr/lib/systemd/system/thrift.service[Unit]Description=hbase thrift serviceAfter=network.target remote-fs.target nss-lookup.target[Service]Type=forkingExec...

2019-06-18 09:18:35 165

原创 Ambari启用HDP服务的自动重启/恢复?

作为群集管理员或群集操作员,您可以启用堆栈中的每个服务以自动重新启动。启用服务的自动启动会导致ambari-agent尝试在停止状态下重新启动服务组件,而无需用户手动操作。作为第一步,您应该为核心Hadoop服务中的工作节点,YARN和HDFS中的DataNode和NameNode组件启用自动启动。您还应该为SmartSense服务中的所有组件启用自动启动。启用自动启动后,在Ambari...

2019-06-17 19:06:53 1701

原创 python hbase API (二) thrift2

一、python hbase API (一) thrift2环境准备python hbase API (一) thrift2环境准备https://mp.csdn.net/postedit/86501781二、python hbase API (二)1、configuration.properties将configuration.properties放在项目的resour...

2019-01-16 10:02:13 350 2

原创 python hbase API (一) thrift2环境准备

一、搭建hbase集群,安装thrift服务并启动安装步骤:https://blog.csdn.net/qq_21153619/article/details/82250725cd /usr/hdp/2.6.2.0-205/hbase/bin/ ./hbase-common.sh start thrift二、Thrift API 在网上很多人说在hbase根目录下存在Hbase.t...

2019-01-16 09:47:46 429

原创 Ambari 使用 Hive View 异常处理:Service 'userhome' check failed: File does not exist: /user/admin

进入Hive View客户端的时候报这个错误:Service 'userhome' check failed: File does not exist: /user/admin查看目录结构 hdfs dfs -ls /user 发现没有admin目录,自己创建一个 su hdfshdfs dfs  -mkdir /user/adminhdfs dfs  -chown a...

2018-12-27 19:40:38 741

原创 redis重启时报vm.overcommit_memory、somaxconn错误

       redis莫名其妙的报这个错误,是redis缓存的数据过多,没有提前做好数据过期策略,导致超过物理机的实际内存。需要修改计算机内存策略,然后重启redis,删除redis冗余数据就ok错误信息:内核参数overcommit_memory overcommit_memory是内存分配策略设置内存分配策略(可选,根据服务器的实际情况进行设置)/proc/sys/vm...

2018-12-23 11:35:56 904

原创 Linux下ntp时间服务器搭建

环境准备系统:CenOS7.5 虚拟机:172.8.10.140-147 主:172.8.10.140    从:172.8.10.141-147一、确认ntp的安装1、确认是否已安装ntprpm -qa|grep -i ntp2、删除已安装ntprpm -ev xxx --nodeps  #强制性卸载xx服务rpm -ev fontpackages-filesy...

2018-12-14 10:22:14 222

原创 python 关闭redis连接

python读写redis时,到底需不需要关闭redis连接池连接?import redisdef RedisUtils(): pool = redis.ConnectionPool(host='172.8.10.145', port=6379, password="xxxxxx", decode_responses=True) r = redis.Redis(conne...

2018-12-12 13:36:57 4375

原创 python字符串前面u、r、b含义以及str、bytes互转

u/U:表示unicode字符串        不但是针对中文,也针对任何的字符串,代表是对字符串进行unicode编码。 一般英文字符在使用各种编码下, 基本都可以正常解析, 所以一般不带u;但是中文, 必须表明所需编码, 否则一旦编码转换就会出现乱码。 建议所有编码方式采用utf8。r/R:非转义的原始字符串       与普通字符相比,其他相对特殊的字符,其中可能包含转义字符,即那...

2018-12-05 18:30:45 1797

原创 happybase1.1.0 报错:ThriftPy does not support generating module with path in protocol 'c'

storm里面的python脚本需要读写hbase,在本地运行测试的时候报错:thriftpy.parser.exc.ThriftParserError: ThriftPy does not support generating module with path in protocol 'c'原因:happybase1.1.0在win下不支持绝对路径具体原因:happybase要读取C:\...

2018-12-03 11:08:53 302

原创 linux下python2与python3并存

ambari底层的协议是走python2的,但是storm和spark运行python脚本的时候,需要python3的方法,所有这时候就需要python2与python3并存。1、查看Python2的版本ambari默认安装了python2.7.5 因为一些命令要用它比如yum 它使用的是python2.7.5。使用 python -V 查看python版本然使用 which ...

2018-11-29 17:24:48 7918

原创 linux下pip和pip3安装

1、pip#执行wget命令提示 -bash: wget: command not found yum -y install wget#安装pipwget https://bootstrap.pypa.io/get-pip.pypython get-pip.py#查看pip版本pip  -V如果出现错误Traceback (most recent cal...

2018-11-29 14:01:10 38687

原创 kafka0.10.1 内置性能测试(生产者和消费者吞吐量测试)

1、使用kafka-run-class脚本测试生产者测试:kafka-run-class.sh:是kafka提供的测试Producer性能脚本,通过脚本,可以计算出Producer在一段时间内的平均延时和吞吐量。./kafka-run-class.sh org.apache.kafka.tools.ProducerPerformance --topic siger --num-rec...

2018-11-20 10:40:28 852

原创 Ambari SmartSense原理

        Hortonworks SmartSense工具(HST)用于收集群集诊断数据,用于协助支持案例故障排除和SmartSense分析。HST使用中央服务器守护程序和分布式的被动HST代理集。HST代理进程不是长期服务,仅在需要特定数据捕获任务时启动。一旦HST代理捕获了所请求的数据,该过程就会停止。HST代理捕获的所有数据都将发送到中央HST服务器,以合并为单个可下载的捆绑文件。然后...

2018-11-12 17:04:36 5683 3

原创 Ambari Metrics 原理

         Ambari Metrics System 简称为 AMS,它主要为系统管理员提供了集群性能的监察功能。Metrics 一般分为 Cluster、Host 以及 Service 三个层级。Cluster 和 Host 级主要负责监察集群机器相关的性能,而 Service 级别则负责 Host Component 的性能。AMS 涉及的模块如下图所示:图 1. Ambari M...

2018-11-12 16:56:49 350

原创 批量清理ambari hadoop集群

1、关闭ambari-server,ambari-agentambari-server stopambari-agent stop2、运行清理脚本chmod +x ambari.sh./ambari.sh运行后显示:Please input your master hostname......输入master的域名#!/bin/bash# Program:# ...

2018-11-12 16:48:58 267

原创 ambari心跳丢失Heartbeat Lost或者无法确认主机confirm hosts

第一种情况,心跳丢失:原因1:server或者agent更换ip或域名,导致服务无法检测修改ip或域名:vim /etc/ambari-agent/conf/ambari-agent.ini重启服务:ambari-agent restart原因2:openSSL兼容性有问题解决方法如下。第二种情况:ambari安装时无法确认主机confirm hosts...

2018-11-12 16:07:30 2308 1

原创 Ambari服务邮箱告警

1、登录ambari管理页面,找到Manage Notifications选项2、创建告警3、配置告警4、163邮箱授权码设置5、修改邮件标题(若没特殊需求,可忽略)下载 alert-templates.xml https://raw.githubusercontent.com/apache/ambari/branch-2.5/ambari-serve...

2018-11-05 16:50:41 392

转载 Zookeeper的CancelledKeyException异常问题

项目中用到storm+kafka+zookeeper,在实际应用中zk和kafka常出问题,这里记录下在使用zk过程中的问题。注:zk版本是3.4.8,kafka是0.8.2.0。zk、storm和kafka都是运行在同一个集群的三台机器上。CancelledKeyException在开发环境测试的时候,一直没有问题,后来原样移植到测试环境下,zk总是出异常,导致kafka和storm...

2018-09-11 09:04:59 866

转载 python访问hbase数据

使用Python调用happybase库。thrift 是facebook开发并开源的一个二进制通讯中间件,通过thrift,我们可以用Python来操作Hbase1、概述Thrift最初由Facebook开发的,后来提交给了Apache基金会将Thrift作为一个开源项目。当时facebook开发使用它是为了解决系统中各系统间大数据量的传输通信以及系统之间语言环境不同需要跨平台的特性问题...

2018-09-11 08:56:29 2453

原创 win10下安装thrift插件

 linux下thrift安装和rhbase安装:https://blog.csdn.net/qq_21153619/article/details/822507251、概述Thrift最初由Facebook开发的,后来提交给了Apache基金会将Thrift作为一个开源项目。当时facebook开发使用它是为了解决系统中各系统间大数据量的传输通信以及系统之间语言环境不同需要跨平台的特...

2018-09-10 10:35:48 1828

原创 linux下R snappy插件安装

1、下载下载R的snappy安装包https://github.com/lulyon/R-snappy2、上次到虚拟机并解压mkdir /usr/local/snappy/unzip R-snappy-master.zip3、安装cd R-snappy-master/snappy配置./configure编译make安装make install4、...

2018-09-05 18:46:48 317

原创 storm里snappy数据压缩应用

1、snappy介绍因为一些特殊需求,需要将数据进行压缩,压缩库有很多比如zlib、LZO、LZF、FastLZ,这里采用的是snappySnappy 在 Google 内部被广泛的使用,从 BigTable 到 MapReduce 以及内部的 RPC 系统。 snappy 是一个压缩库。它可以利用单颗Intel Corei7处理器内核处理至少每秒250MB~500MB的数据流。 sn...

2018-09-05 17:14:29 146

原创 rhbase的基本方法

rhbase基本方法#执行R脚本/usr/bin/Rscript ./rhbase.R #引入rhbase包library(rhbase)#连接数据库class(hb.init(host='172.8.10.142',port=9090))=='hb.client.connection'#创建表hb.new.table("test_rhbase","info")hb.ne...

2018-09-05 08:48:51 235

原创 CenOS7下安装Thrift和rhbase--源码编译和yum安装

一、源码编译一、先搭建hbase集群和R环境安装hbase集群搭建步骤详见:https://mp.csdn.net/postedit/81698599R环境安装https://blog.csdn.net/qq_21153619/article/details/81386166二、rhbase安装安装环境依赖 yum install automake libtool ...

2018-09-03 18:18:31 678

原创 Kettle闪退问题

kettle Spoon.bat闪退解决办法 1、Java环境配置问题 java_home:D:\Program Files\Java\jdk1.7.0_25(安装jdk路径)classpath:.;%java_home%\lib\dt.jar;%java_home%\lib\tools.jarpath:在path路径中添加%java_home%\bin;%java_home%\...

2018-08-27 08:35:48 1012 1

原创 Kettle安装手册

进入cd  /usr/ 解压kettle,mkdir projects/mkdir /projects/kettle_jobmkdir /projects/kettle_logmkdir /projects/kettle_sh 写shell脚本,执行kettle作业#!/bin/bashcd /usr/./data-integration/kitchen.sh -...

2018-08-27 08:34:32 110

原创 Hive调用自定义函数

要继承org.apache.hadoop.hive.ql.exec.UDF类实现evaluate自定义函数调用过程:1.添加jar包(在hive命令行里面执行)hive> add jar /root/NUDF.jar;2.创建临时函数hive> create temporary function getNation as 'cn.itcast.hive.udf.Na...

2018-08-24 09:10:02 506

原创 Hbase主-从集群备份

三种方法实现HBASE主-从集群备份1、Export/Import通过Export导出数据到目标集群的hdfs,再在目标集群执行import导入数据,Export支持指定开始时间和结束时间,因此可以做增量备份,导出时可以指定version,starttime(时间戳),endtime(时间戳)等参数,并且可以通过-D指定是否压缩,指定caching等属性,比如:hbase  org.ap...

2018-08-24 09:03:51 824

原创 不同集群Hbase数据库数据迁移

不同版本Hbase数据库数据迁移1、迁出hbase # 进入hdfs用户su hdfs  #在hdfs上建立test临时目录hadoop fs -mkdir /test#进入hbase的bin目录下cd /usr/hdp/2.6.2.0-205/hbase/bin/   #用MR方法将hbase数据库t_userBehavior里的数据导入/test/t_userBeha...

2018-08-24 08:49:17 452

原创 Hbase均衡Region和权限管理

 查询Namespace为AMRCLOUD中名为powerdata的表的数据:scan 'AMRCLOUD:powerdata'查询某一条数据:get 't1', 'r1', {COLUMN => 'c1'}t1为表名,r1为rowkey,c1为column family 列出所有表:list列出所有Namespace:list_namespace创建Namesp...

2018-08-24 08:44:17 383

原创 Hadoop机架感知

1.背景      Hadoop在设计时考虑到数据的安全与高效,数据文件默认在HDFS上存放三份,存储策略为本地一份,同机架内其它某一节点上一份,不同机架的某一节点上一份。这样如果本地数据损坏,节点可以从同一机架内的相邻节点拿到数据,速度肯定比从跨机架节点上拿数据要快;同时,如果整个机架的网络出现异常,也能保证在其它机架的节点上找到数据。为了降低整体的带宽消耗和读取延时,HDFS会尽量让读取程...

2018-08-24 08:40:27 58

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除