[老达笔记]大数据笔记
Ginoy
这个作者很懒,什么都没留下…
展开
-
zookeeper通知watcher
import org.apache.zookeeper.*;import java.io.IOException;/** * Created with IntelliJ IDEA. * User: Administrator * Date: 17-7-12 * Time: 下午3:03 * To change this template use File | Settings |原创 2017-07-12 16:22:17 · 249 阅读 · 0 评论 -
STORM入门之(Worker、Executor、Task之间的关系)
storm中worker、executor、task之间的关系理清一下worker、executor、task、supervisor、nimbus、zk这几个之间的关系先来看一张图 (图片来自:http://www.cnblogs.com/foreach-break/p/storm_worker_executor_spout_bolt_simbus_superv转载 2017-08-28 10:15:17 · 500 阅读 · 0 评论 -
STORM入门之(Topology简易Demo)
maven配置 org.apache.storm storm-core 1.0.0Topologypackage com.storm.topology;import com.storm.bolt.BoltA;import com.storm.spout.SpoutA;import org.apache.storm.Config;import or原创 2017-08-21 14:24:14 · 2017 阅读 · 0 评论 -
ElasticSearch-常用API(一)
属性文件propertieses.cluster=10.2.4.15,10.2.4.42,10.2.4.43es.port=9300es.name=SOC-15构建客户端 public static boolean start() { try { Settings settings = Settings.settingsBui原创 2017-07-12 16:36:11 · 370 阅读 · 0 评论 -
ElasticSearch-常用API(二)
ES版本基于2.4.1编写,其他版本会照成客户端连接异常。API简介查询所有,单字段 词条查询,时间段查询,组合查询or,组合查询and,模糊查询,创建索引,查看集群信息,单个更新,其他功能持续更新,都是常用的基础。EsApipackage com.elastic.api;import org.elasticsearch.action.bulk.BulkRequestBuild原创 2017-09-06 16:28:39 · 764 阅读 · 0 评论 -
KAFKA知识(基本组成)
基本概念Kafka对消息保存时根据Topic进行归类,发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群多个kafka实例组成,每个实例(server)成为broker。无论是kafka集群,还是producer和consumer都依赖于zookeeper来保证系统可用性集群保存一些meta信息。BrokerKafka集群包含一个或多个服务器原创 2017-08-01 08:44:45 · 1276 阅读 · 0 评论 -
ElasticSearch-API目录
elasticsearch中的APIes中的API按照大类分为下面几种:文档API: 提供对文档的增删改查操作搜索API: 提供对文档进行某个字段的查询索引API: 提供对索引进行操作查看API: 按照更直观的形式返回数据,更适用于控制台请求展示集群API: 对集群进行查看和操作的API文档APIIndex API: 创建并建立索引Get API: 获取文档DELETE A原创 2017-09-08 16:14:16 · 328 阅读 · 0 评论 -
STORM入门之(基本Shell命令)
动态设置拓扑的并发度 Storm支持在不重启topology的情况下,动态的改变(增减)worker process的数目和executor的数目,称为rebalancing。有两种方式可以实现拓扑的再平衡:(1)使用Storm Web UI(2)使用Storm rebalance命令(推荐使用)使用命令行的方式如下: # 重新配置拓扑# "topoName" 拓扑使用原创 2017-06-26 08:45:45 · 1488 阅读 · 0 评论 -
STORM入门之(Stream Groupings分组方式)
Stream GroupingsStream Grouping定义了一个流在Bolt任务间该如何被切分。这里有Storm提供的6个Stream Grouping类型1. 随机分组(Shuffle grouping)随机分发tuple到Bolt的任务,保证每个任务获得相等数量的tuple。2. 字段分组(Fields grouping)根据指定字段分割数据流,并分组。例如,根据“原创 2017-08-02 15:42:09 · 1992 阅读 · 0 评论 -
STORM入门之(TridentAPI,Aggregation)
基本介绍Aggregation是Trident的基本基本api 主要作用是聚合,如下聚合方法作用是记录单词出现的次数package com.storm.trident;import org.apache.storm.shade.org.apache.commons.exec.util.MapUtils;import org.apache.storm.trident.operation.原创 2017-09-01 12:44:25 · 893 阅读 · 0 评论 -
STORM入门之(TridentAPI,partition)
partitionAggregatepartitionAggregate 会在一批 tuple 的每个分区上执行一个指定的功能操作。以下面这段代码为例:mystream.partitionAggregate(new Fields("b"), new Sum(), new Fields("sum"))假如输入流中包含有 “a”、“b” 两个域并且有以下几个 tuple 块:原创 2017-09-20 13:05:19 · 464 阅读 · 0 评论 -
异步调度quartz
通常异步调度都是timer ,但是timer只是入门接基本调度,很多需求满足不了 我们可以使用quartz简单demomaven org.quartz-scheduler quartz 2.2.1 调度作业package com.qz;import原创 2017-10-11 15:14:50 · 1243 阅读 · 0 评论 -
flume kafka测试环境配置 windows
flume版本:apache-flume-1.7.0-bin启动cd E:\localbigdata\apache-flume-1.7.0-bin\binflume-ng.cmd agent -conf ../conf -conf-file ../conf/syslog_udp.conf -name a1 -property flume.root.logger=INFO,co原创 2017-10-13 16:12:34 · 1143 阅读 · 1 评论 -
Flume自定义SyslogSink
需求:收集客户端app应用日志,发送到其他代理agent上514syslog端口进行日志收集采样。技术组件 :flume-ng版本:flume1.7其他:由于flume本身默认没有syslog的sink,只有syslog的source,所以我们可以自己定义syslog sink测试syslog的javaDemo,功能实现ip校验,发送多条syslog日志 ,直接java -jar运原创 2017-11-09 14:13:27 · 1791 阅读 · 0 评论 -
STORM入门之(集成HDFS)
总体Storm集成hdfs需要做前期工作1.hadoop单机版安装2.自己写hdfs demo 查看是否写入成功首先让我们来安装hadoop 版本:hadoop-native-64-2.6.0.tarjdk:1.7Hadoop部分(1)hadoop配置文件修改core-site.xml hadoop.tmp.di原创 2017-11-14 13:58:37 · 900 阅读 · 0 评论 -
大数据组件Shell工具分享(storm redis es kafka flume zookeeper)
目的自己编写个工具 用于集群的信息获取与监控 可以及时查看问题,无需查找繁琐命令,直接配置好就可用内容组件包括 java进程查看,redis集合,kafka集合,es集合,zookeeper集合 ,flume集合,strom集合Kafka演示1.选择输入对应编号 3 回车 即可出现Kafka操作合集2.展示Kafka当前 所有Topic 信息原创 2017-10-25 10:03:43 · 491 阅读 · 0 评论 -
ElasticSearch-创建索引CreateIndex
es版本2.4.1 集群node地址与集群名称根据具体配置进行修改import java.io.IOException;import java.net.InetAddress;import java.net.UnknownHostException;import java.util.ArrayList;import java.util.List;import org.elastics原创 2017-08-17 10:41:07 · 7027 阅读 · 0 评论 -
ElasticSearch-集群健康度监控
简单的ES集群健康度监控 ES集群健康度分为:红 黄 绿三种颜色红色:个别分片 副本不可用黄色:个别副本不可用 绿色:为健康本监控方法为简单的定时调度,可以查看ES集群是否健康properties属性文件如下:#es监控配置es.cluster=10.2.4.15,10.2.4.42,10.2.4.43es.port=9300es.name=es_cluster原创 2017-07-26 15:25:51 · 2301 阅读 · 0 评论 -
Hadoop组件
Hadoop组件角色组成Hadoop的集群主要由 NameNode,DataNode,Secondary NameNode,JobTracker,TaskTracker组成。(1)NameNode中记录了文件是如何被拆分成block以及这些block都存储到了那些DateNode节点.(2)NameNode同时保存了文件系统运行的状态信息.(3)DataNode中存储的是被拆分的b原创 2017-08-01 09:30:41 · 442 阅读 · 0 评论 -
Hbase批量入库
获取Hbase HBaseConfiguration对象方法// 获取配置 public static HBaseConfiguration getConfiguration() { Configuration HBASE_CONFIG = new Configuration(); if (conf == null) { HBAS原创 2017-07-25 11:19:15 · 439 阅读 · 0 评论 -
ZOOKEEPER服务命令
ZooKeeper服务命令: 在准备好相应的配置之后,可以直接通过zkServer.sh 这个脚本进行服务的相关操作1. 启动ZK服务: zkServer.sh start2. 查看ZK服务状态: zkServer.sh status3. 停止ZK服务: zkServer.sh stop4. 重启ZK服务: zkServer.sh原创 2017-07-25 13:59:41 · 269 阅读 · 0 评论 -
Hbase集群监控
Hbase集群监控方式,通过集群监控平台url可以获取json信息推荐json识别网站:http://www.bejson.com/jsonviewernew/集群监控URL:http://10.2.4.41:16010/jmx?description=true 端口与ip根据实际情况更改,一般部署后集群可正常访问其url属性文件#hbase监控url配置hbase.url=ht原创 2017-08-03 15:12:18 · 379 阅读 · 0 评论 -
zookeeper伪集群windows部署
zookeeper伪集群windows部署zookeeper插件下载地址:zoo.cfg三份即可第一份配置tickTime=2000 dataDir=F:/zk/zkcluster/zookeeper1/tmp/zookeeper/ clientPort=2181 initLimit=10 syncLimit=5 server.1=127.0.0.1:2888:原创 2017-07-26 16:56:44 · 252 阅读 · 0 评论 -
Redis工具类
Redis工具类依赖 redis.clients jedis 2.6.3 jar compile Propertiesmaster-ip=10.2.4.12master-port=6379slave-ip=10.2.4原创 2017-07-27 10:15:28 · 758 阅读 · 1 评论 -
KAFKA知识(zk中架构图)
Kafka架构图架构在zookeeper中的拓扑原创 2017-08-02 10:29:15 · 1418 阅读 · 0 评论 -
KAFKA知识(Consumer)
配置说明earliest 当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,从头开始消费 latest 当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,消费新产生的该分区下的数据 none topic各分区都存在已提交的offset时,从offset后开始消费;只要有一个分区不存在已提交的offset...原创 2017-08-25 09:19:01 · 564 阅读 · 0 评论 -
KAFKA知识(Producer)
构建KAFKA Producer Brokerlist为kafka集群broker地址 可修改为“10.2.1.123,10.2.1.132”格式static { Properties props = new Properties(); // 此处配置的是kafka的端口 props.put("metadata.broker.list",BR原创 2017-07-25 13:44:29 · 349 阅读 · 0 评论 -
KAFKA知识(SHELL命令)
Kafka(broker:9092,zookeeper:2181)一.服务启动启动kafka命令:nohup /kafka/bin/kafka-server-start.sh config/server.properties &停止kafka命令:pkill -9 -f config/server.properties二.基本操作注:Logs为主题topic原创 2017-06-23 17:19:30 · 1349 阅读 · 0 评论 -
STORM入门之(集成KafkaBolt)
根据第一篇文章:STORM入门之(Topology简易Demo)进行扩展集成KafkaSTORM入门之(集成KAFKA)传送门:http://blog.csdn.net/yl3395017/article/details/77449275新增Bolt:package com.storm.bolt;import java.util.Map;import org.apache.stor原创 2017-08-21 17:11:25 · 955 阅读 · 0 评论 -
STORM入门之(TridentTopology集成Kafka)
基本前几篇文章是StormTopology集成Kafka 是Storm基本入门知识 传送门:http://blog.csdn.net/yl3395017/article/details/77477716这篇介绍TridentTopology集成Kafka 话不多说 上代码Topology构建package com.storm.topology;import com.storm.原创 2017-09-04 09:28:19 · 778 阅读 · 0 评论 -
获取集群信息之Redis
Redis获取方式属性文件#redis监控配置master.ip=10.2.4.12master.port=6379slave.ip=10.2.4.13,10.2.4.14slave.port=6379maxActive=50maxIdle=5maxWait=-1监控timerimport java.io.IOException;import java.io.Inp原创 2017-08-03 15:50:22 · 723 阅读 · 0 评论 -
STORM入门之(Flume Kafka集成架构)
FlumeFlume作用:收集日志组件下载地址:http://archive.apache.org/dist/flume/1.6.0/ 版本:1.6.0以上集成KafkaFlume配置a1.sources = r1a1.sinks = k1a1.channels = c1 a1.sources.r1.type = syslogudpa1.sources.r1.po原创 2017-08-25 17:01:42 · 589 阅读 · 0 评论 -
Zookeeper工具类
import java.io.StringWriter;import java.util.ArrayList;import java.util.List;import org.apache.zookeeper.CreateMode;import org.apache.zookeeper.ZooDefs;import org.apache.zookeeper.ZooDefs.Ids;i原创 2017-07-12 16:23:31 · 935 阅读 · 0 评论 -
ElasticSearch-分页查询
获取客户端方式 请看前面文章 分页查询代码 public static void perPage() { //scroll里面的size是相对于每个分片来说的,所以实际返回的数量是:分片的数量*size TransportClient client = ElasticSearchUtil.getInstance().getEsClient();原创 2017-07-13 09:47:26 · 1125 阅读 · 0 评论 -
基于sftp的shell编程
基于sftp的shell编程两个组件(1)expect首先安装expect 需要两个tar.gz 如下所示 tar zxvf tcl8.4.19-src.tar.gz cd tcl8.4.19/unix && ./configure make make installtar zxvf expect5.45.tar.gzcd expect5.45....原创 2019-03-12 13:56:13 · 1384 阅读 · 0 评论