大数据与云计算
崔世勋
这个作者很懒,什么都没留下…
展开
-
hadoop、openstack及swift简介
HadoopHadoop 是Google MapReduce 的一个Java实现。MapReduce是一种简化的分布式编程模式,让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样, MapReduce的run-time系统会解决输入数据的分布细节,跨越机器集群的程序执行调度,处理机器的失效,并且管理机器之间的通讯请求。这样的模式允许程序员可以不需...转载 2014-09-27 19:39:40 · 956 阅读 · 0 评论 -
Zookeeper : session超时设置
(1)tickTime,这是个时间单位定量。(2)minSessionTimeout, maxSessionTimeout:一般,客户端连接zookeeper的时候,都会设置一个session timeout,如果超过这个时间client没有zookeeper server有联系,则这个session被设置为过期(如果这个session上有临时节点,则会被全部删除),但是这个时间不是客户端可以...转载 2017-06-05 11:10:39 · 21504 阅读 · 0 评论 -
Redis集群搭建
用两台虚拟机模拟6个节点,一台机器3个节点,创建出3 master、3 salve 环境。 安装过程1. 下载并解压 cd /root/softwarewget http://download.redis.io/releases/redis-3.2.4.tar.gztar -zxvf redis-3.2.4.tar.gz 2. 编译安装cd redis-3...转载 2017-05-16 11:01:09 · 423 阅读 · 0 评论 -
Redis API的原子性分析
原子性是数据库的事务中的特性,指一个事务中的所有操作,要么全部完成,要么全部不完成。对于Redis而言,命令的原子性提的是:一个操作的不可以再分,操作要么执行,要么不执行。Redis的操作之所以是原子性的,是因为Redis是单线程的。对Redis来说,执行get、set等API,都是一个一个的任务,这些任务都会由Redis的线程去负责执行,任务要么执行失败。Redis本身提供的所有API都是原...转载 2017-04-07 10:54:39 · 1490 阅读 · 0 评论 -
dubbo 配置
先要了解Spring解析自定义标签。 DubboBeanDefinitionParser它实现了Spring的BeanDefinitionParser接口,该接口专门用来解析Bean的定义,所以需要实现parser()方法。public BeanDefinition parse(Element element, ParserContext parserContext)DubboBea...转载 2017-03-10 18:12:02 · 435 阅读 · 0 评论 -
ZKClient
zkClient的组件说明从上述结构上看,IZKConnection是一个ZkClient与Zookeeper之间的一个适配器。在代码里直接使用的是ZKClient,其实质还是委托了zookeeper来处理。ZkEventThread是专门用来处理事件的线程。 启动ZKClient在创建ZKClient对象时,就完成了到Zookeeper服务器连接的建立。(1)启动时,指定...转载 2017-02-15 15:47:18 · 1357 阅读 · 0 评论 -
Redis入门
Redis是一个开源的,使用C语言编写的、支持网络交互的、可基于内存也可持久化的key-value数据库。 1.Redis的持久化Redis提供了两种持久化的方式,分别是RDB(Redis DataBase)和AOF(Append Only File)。RDB,简单说就是在不同的时间点,将Redis存储的数据生成快照并存储到磁盘等介质上。AOF,则是换了一个角度来实现持久化,那...转载 2017-01-24 15:55:37 · 490 阅读 · 0 评论 -
zookeeper:Invalid session id 引起客户端不停地自动重连
场景重现:场景1:不停止clients,删除datadirs场景2:不停止clients,删除一些snapshots或者重启quorum 2017-07-17 18:19:19,338 [myid:0] - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:28421:NIOServerCnxnFactory@197] - Accepted ...转载 2017-07-18 15:31:54 · 2943 阅读 · 0 评论 -
Zookeeper常用命令
启动ZK服务:bin/zkServer.sh start 查看ZK服务状态: bin/zkServer.sh status 停止ZK服务: bin/zkServer.sh stop 重启ZK服务:bin/zkServer.sh restart 连接服务器:zkCli.sh -server 127.0.0.1:2181 查看根目录: ls / 创建testnode节点,关联字符串“zz”...转载 2017-02-20 17:29:41 · 398 阅读 · 0 评论 -
curator zkclient
原生api的不足:(1)连接的创建是异步的,需要开发人员自行编码实现等待。(2)连接没有自动的超进重连机制。(3)zk本身没提供序列化机制,需要开发人员自行指定,从而实现数据的序列化和反序列化。(4)Watcher注册一次只会生效一次,需要不断的重复注册。(5)不支持递归创建树形节点。 使用Java操作zookeeper时,一般有两种方式:zkclient和curato...转载 2017-02-17 14:50:26 · 1710 阅读 · 0 评论 -
zookeeper 源码编译
问题:'<>' operator is not allowed for source level below 1.7这是eclipse的编译环境与项目的要求不对造成的。解决:右键项目--属性--勾选Enable project specific settings--Compiler compliance level--选择1.7--OKorg.apache.zooke...转载 2017-04-07 10:44:58 · 2289 阅读 · 10 评论 -
hbase 伪分布式安装
hbase安装模式介绍1.单机模式(1)不使用hdfs,仅使用本地文件系统。(2)zookeeper与hbase运行在同一个jvm中。2.伪分布式模式(1)所有进程运行在同一个切点上,不同进程运行在不同的jvm当中。3.完全分布式模式(1)进程运行在多个服务器集群中(2)分布式依赖于HDFS系统,因此部署hbase之前一定要有一个正常工作的hdfs集群。 L...转载 2017-11-17 10:02:55 · 425 阅读 · 0 评论 -
java.io.IOException:Could not locate executable null\bin\winutils.exe in the Hadoop binaries
查看hadoop源码发现有一段: public static final String getQualifiedBinPath(String executable) throws IOException { // construct hadoop bin path to the specified executable String fullExeName = HA...转载 2018-01-04 16:22:52 · 501 阅读 · 0 评论 -
大数据工程师技能图谱
最后欢迎大家访问我的个人网站:1024s转载 2018-01-19 10:05:13 · 363 阅读 · 0 评论 -
elasticsearch 入门学习
原文:https://blog.csdn.net/laoyang360/article/details/52244917ES是如何产生的?(1)思考:大规模数据如何检索当系统数据量上了10亿、100亿条的时候,我们在做系统架构的时候通常会从以下角度去考虑问题: 用什么数据库好? 如何解决单点故障(lvs、F5、A10、Zookeeper、MQ) 如何保证数据安全性(热备、冷...转载 2018-04-28 13:30:53 · 241 阅读 · 0 评论 -
Elasticsearch检索分类
原文:https://blog.csdn.net/laoyang360/article/details/77623013Elasticsearch中当我们设置Mapping(分词器、字段类型)完毕后,就可以按照设定的方式导入数据。有了数据后,我们可以对数据进行检索。检索概览检索子句的行为取决于查询应用filter还是query, filter对应于结构化检索,query对应于全文检索。...转载 2018-04-28 15:02:28 · 853 阅读 · 0 评论 -
Elasticsearch Java API
Elasticsearch JAVA API大致分如下四类:1.TransportClient步骤1:获取client步骤2:执行对应的增、删、改、查操作/*** Query Search* @param index* @param type* @param term* @param queryString*/private static void querySea...转载 2018-05-02 09:30:01 · 419 阅读 · 0 评论 -
elasticsearch-jdbc
es-jdbc是一个将关系型数据库数据导入es库的工具,支持mysql、oracle等。1.下载zip包。http://xbib.org/repository/org/xbib/elasticsearch/importer/elasticsearch-jdbc/2.解压.3.添加驱动es-jdbc默认带了mysql的driver,如果要添加其他数据库的driver,只需将对应的...转载 2018-06-14 13:53:43 · 2480 阅读 · 0 评论 -
redis 集群 Node is not empty
删除aof rdb nodes.conf文件。 最后欢迎大家访问我的个人网站:1024s转载 2017-06-29 15:27:10 · 454 阅读 · 0 评论 -
Redis技巧
停止使用KEYS *keys命令的时间复杂度是O(n),其中n是要返回的keys的个数,并且在这个操作执行期间,其它任何命令在你的实例中都无法执行。作为一个替代命令,可以看一下SCAN。 打出拖慢Redis的罪魁祸首。info commandstats通过这个工具可以查看到所有命令统计的快照,比如命令执行了多少次,执行命令所耗费的毫秒数。只需要简单执行config resetsta...转载 2017-06-29 16:07:34 · 347 阅读 · 0 评论 -
云计算之数据中心
云的驱动力:这种从客户端向服务端的转移来自两个方向的驱动力(1)用户的需求。用户往往不希望手动进行程序的配置和备份,他们希望以简单的方式(只需要一个浏览器)访问服务(2)服务提供者的需求。软件即服务这种模式能够让应用程序的开发更迅速,使开发者在升级程序时,无须修改成千上万个客户端和相应软大硬件配置,只需要升级数据中心即可,所以服务提供者也希望把应用程序转移到服务端;在管理方面,相对于管理台式计...转载 2014-10-08 20:21:13 · 893 阅读 · 0 评论 -
SSH免密码登录的原理
转:http://blog.csdn.net/chong232/article/details/6830755假设S为服务器端,C为客户端,C有S的访问密码,或者说C有S的访问权限。那么免密码登录的原理就是在S一端存放那些有访问权限的C端的身份认证。即,在C端以ssh-gen命令生成一对公/私钥,私钥放在C端,公钥上传到S端。这样,每次从C登录S的时候,C端凭借转载 2015-06-27 22:02:25 · 603 阅读 · 0 评论 -
NoSQL数据库入门
CAP理论:(1)Consistency一致性,任何一个读操作总能读取到之前完成的写操作结果。(2)Avaliability 可用性,每一个操作总是能够在确定的时间内返回。(3)Tolerance of network Partition 分区容忍性,在出现网络分布的情况下,仍能够满足一致性和可用性。(4)最多只能同时满足以上两种需求。由于当前网络硬件肯定会出现延迟丢...转载 2016-08-03 09:57:01 · 447 阅读 · 0 评论 -
配置zookeeper日志
zookeeper日志默认生成的zookeeper.log文件会在$ZOOCFGDIR/bin下,并且文件会无限增大,时间久了会严重占用磁盘空间,并且一直处于增长,并没有控制机制,所以要合理的配合zookeeper.out日志输出。主要修改$ZOOCFGDIR/bin/zkEnv.sh文件。修改前if ["x${ZOO_LOG_DIR}"="x"]thenZOO_LOG_DIR...转载 2016-09-22 22:00:28 · 1298 阅读 · 0 评论 -
zookeeper3.4.5自动清理日志
从3.4.0开始,zookeeper提供了自动清理snapshot和事务日志的功能,通过配置 autopurge.snapRetainCount 和 autopurge.purgeInterval 这两个参数能够实现定时清理了。这两个参数都是在zoo.cfg中配置的,将其前面的注释去掉,根据需要修改日志保留个数: autopurge.purgeInterval 这个参数指定了...转载 2016-09-08 10:29:49 · 718 阅读 · 0 评论 -
storm中使用Thread中的sleep故障总结
常常有这种业务场景,在bolt初始化中调用Thread线程的sleep方法,模拟类似定期调度的效果,比如用于数据累加计算、缓存清理等工作。 在解决项目中遇到的问题时,发现在bolt初始化中新启动一个线程后,然后调用Thread类的sleep时会有挂死的情况,线程在运行一段时间休眠后,无法唤醒。后来改用bolt自带的Tick机制,解决了此问题, 在storm的官方文档中,并不推荐在bol...转载 2017-02-06 17:16:28 · 930 阅读 · 0 评论 -
APM 应用性能管理
Application Performance Management & Monitoring对企业系统即时监控以实现对应用程序性能管理和故障管理的系统化的解决方案。 最后欢迎大家访问我的个人网站:1024s...转载 2017-02-07 08:53:43 · 667 阅读 · 0 评论 -
Zookeeper的功能以及工作原理
1.Zookeeper是什么?它是一个分布式的、开放源码的分布式应用程序协调服务,是Google的Chubby的一个开源实现,它是集群的管理者,监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终,将简单易用的接口和性能高效、功能稳定的系统提供给用户。 2.Zookeeper提供了什么? 文件系统每个子目录项如NameService都被称为znode,和文件系...转载 2017-01-23 10:30:29 · 821 阅读 · 0 评论 -
zookeeper配置zoo.cfg参数说明
参数名 说明 clientPort 客户端连接server的端口,即对外服务端口,一般设置为2181吧。 dataDir 存储快照文件snapshot的目录。默认情况下,事务日志也会存储在这里。建议同时配置参数dataLogDir, 事务日志的写性能直接影响zk性能。 ...转载 2016-09-22 21:32:44 · 2654 阅读 · 0 评论 -
Zookeeper源码环境搭建
到github中下载该项目https://github.com/apache/zookeeper下载.zip包到本地解压。使用ant对源代码编译成eclipse工程(1)下载anthttp://ant.apache.org/bindownload.cgi(2)解压到特定目录,设置ANT_HOME(ant)和path(%ANT_HOME%\bin)(3)打开cmd,运行ant...转载 2017-04-05 17:25:38 · 754 阅读 · 0 评论 -
Redis安装 centos 6.5
下载最新版本的Redis $ tar xzf redis-x.x.x.tar.gz$ cd redis-x.x.x$ make$ make install 可以使用./redis-server redis.conf指定配置,来启动redis 查看redis是否启动redis-cli,这个命令将打开redis终端。输入ping命令,如果有pong响应,说明正常启动。 ...转载 2017-05-03 09:56:50 · 712 阅读 · 0 评论 -
dubbo 服务注册
解析服务 Spring提供了可扩展Schema的支持,完成一个自定义配置一般需要以下步骤:设计配置属性和JavaBean 编写XSD文件 编写NamespaceHandler和BeanDefinitionParser完成解析工作。 编写spring.handlers和spring.schemas串联所有部件。 在Bean文件中应用1.设计配置属性和JavaBean以Dub...转载 2017-05-04 16:47:33 · 876 阅读 · 0 评论 -
Zookeeper acl超级用户
总体来说,ZK的节点有5种操作权限:CREATE、READ、WRITE、DELETE、ADMIN也就是增、删、改、查、管理权限,这5种权限简写为crwda。注:delete是指对子节点的删除权限,其它4种权限指对自身节点的操作权限。 Cli命令行下可这样测试:create /test 'test-data' getAcl /test通过getAcl命令可以发现,刚创建的...转载 2017-07-07 09:52:43 · 3394 阅读 · 0 评论 -
zookeeper根据用户名密码生成digest
java -cp zookeeper-3.4.6.jar:lib/slf4j-api-1.6.1.jar:lib/slf4j-log4j12-1.6.1.jar:lib/log4j-1.2.16.jar org.apache.zookeeper.server.auth.DigestAuthenticationProvider user:password 最后欢迎大家访问我的个人网站:102...转载 2017-07-05 17:06:36 · 4238 阅读 · 0 评论 -
zookeeper使用acl进行访问控制
Zookeeper不具有znode的拥有者的概念,相反,ACL指定id集以及与之对应的权限。还要注意的是一条ACL仅针对一个特定的节点,不适用于子节点,例如:如果/app只对ip:172.16.16.1可读,而/app/status是对任何人可读,acl不是递归的。ACL是由scheme:expression,perms构成,例如:ip:19.2.0.0./16, READ zoo...转载 2017-07-04 16:59:57 · 2052 阅读 · 0 评论 -
Zookeeper 配置-不安全的选项
forceSync决定了写进去的数据是否应该sync到磁盘,yes或者no。默认值为yes,在数据被sync到磁盘之前,事务对应的ack不会被发送回leader。sync系统调用很昂贵,且是事务处理中耗时最大的步骤。如果设置为no,那么数据是一旦写到操作系统时,事务的ack马上会被发送,通常在数据真正落到磁盘前操作系统会把数据缓存起来。设置为no会提高性能,你是不是当server崩溃或者机器...转载 2017-07-04 16:34:08 · 791 阅读 · 0 评论 -
Redis scan
SCAN cursor [MATCH pattern] [COUNT count]SCAN 命令及其相关的 SSCAN 命令、 HSCAN 命令和 ZSCAN 命令都用于增量地迭代(incrementally iterate)一集元素(a collection of elements):SCAN 命令用于迭代当前数据库中的数据库键。 SSCAN 命令用于迭代集合键中的元素。 HSCAN...转载 2017-06-29 16:08:40 · 412 阅读 · 0 评论 -
elasticsearch-head
head是用于监控elasticsearch状态的客户端插件。Git clone git://github.com/mobz/elasticsearch-head.git Cd elasticsearch-head Npm install Grunt server Open http://localhost:9100 (1)head插件监听的是9100端口。...转载 2018-06-14 13:57:34 · 282 阅读 · 0 评论