BigData
PeppaKing
这个作者很懒,什么都没留下…
展开
-
[elastic][ES]#0_ES部署
Running ES in dockerdocker pull docker.elastic.co/elasticsearch/elasticsearch:7.5.1docker run -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:...原创 2020-01-16 20:02:58 · 126 阅读 · 0 评论 -
[flink]#10_Flink Job @ Standalone、YARN、Mesos、K8S
Standalone./bin/start-cluster.sh# jps65425 Jps 51572 TaskManagerRunner 51142 StandaloneSessionClusterEntrypointStandaloneSessionClusterEntrypoint 代表的是 Job Manager 进程TaskManagerRunner 代表的是 Task...原创 2019-12-18 19:42:22 · 172 阅读 · 0 评论 -
[flink]#10Flink高可用
flink-conf.yaml########基础配置########### jobManager 的IP地址 jobmanager.rpc.address: localhost# JobManager 的端口号 jobmanager.rpc.port: 6123# JobManager JVM heap 内存大小 jobmanager.heap.size: 1024m# TaskM...原创 2019-12-18 11:33:53 · 109 阅读 · 0 评论 -
[flink]#33_扩展库:Gelly
./bin/flink run examples/gelly/flink-gelly-examples_2.11-1.9.0.jar \ --algorithm GraphMetrics --order directed \ --input RMatGraph --type integer --scale 20 --simplify directed \ --output printGelly ...原创 2019-12-17 22:36:18 · 444 阅读 · 0 评论 -
[flink]#32_扩展库:Machine Learning
<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-ml_2.11</artifactId> <version>1.8.0</version></dependency>//带标签的特征向量 val tr...原创 2019-12-17 21:57:05 · 164 阅读 · 0 评论 -
[flink]#31_扩展库:State Processor API
使用 DataSet 读取作业状态读取现有的 SavepointExecutionEnvironment bEnv = ExecutionEnvironment.getExecutionEnvironment(); ExistingSavepoint savepoint = Savepoint.load(bEnv, "hdfs://path/", new RocksDBStateBackend...原创 2019-12-17 21:40:29 · 279 阅读 · 0 评论 -
[flink]#23_Flink CEP
<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-cep_${scala.binary.version}</artifactId> <version>${flink.version}</version> </depend...原创 2019-12-17 20:28:08 · 67 阅读 · 0 评论 -
[flink]#25_Window
Window 就是用来对一个无限的流设置一个有限的集合,在有界的数据集上进行操作的一种 机制。Window可以分为**基于时间(Time-based)的 Window 以及基于数量(Count-based)**的 window。Flink中一共可以使用以下Window:以时间驱动的 Time Window以事件数量驱动的 Count Window以会话间隔驱动的 Session Win...原创 2019-12-14 19:24:00 · 83 阅读 · 0 评论 -
[flink]#22_Table API & SQL与DataStream,DataSet
将 DataStream 或 DataSet 注册为 TableStreamTableEnvironment tableEnv = ...;DataStream<Tuple2<Long, String>> stream = ...//将 DataStream 注册为 myTable 表 tableEnv.registerDataStream("myTable",...原创 2019-12-16 21:41:59 · 135 阅读 · 0 评论 -
[flink]Flink State
state 中存储着每条数据消费后数据的消费点 (生产环境需要持久化这些状态),当 Job 因为某种错误或者其他原因导致重启时,就能够从 checkpoint(定时将 state 做一个全局快照,在 Flink 中,为了能够让 Job 在运行的过程中保证容错 性,才会对这些 state 做一个快照,在 4.3 节中会详细讲) 中的 state 数据进行恢复Keyed State 总是和具体的 ...原创 2019-12-16 20:07:26 · 117 阅读 · 0 评论 -
[flink]如何使用 Side Output 来分流?
使用 Filter 分流DataStreamSource<MetricEvent> data = KafkaConfigUtil.buildSource(env); //从Kafka 获取到所有的数据流SingleOutputStreamOperator<MetricEvent> machineData = data.filter(m -> "machine".e...原创 2019-12-15 15:16:20 · 262 阅读 · 1 评论 -
[flink]#15_Source 和 Sink 简述
Data SourceStreamExecutionEnvironment.addSource(sourceFunction)共有以下几类:基于集合fromCollection(Collection) - 从 Java 的 Java.util.Collection 创建数据流。集合中的所有元素类型 必须相同。fromCollection(Iterator, Class) - 从一个...原创 2019-12-13 22:16:02 · 107 阅读 · 0 评论 -
[flink]#14_算子Operator
DataStream OperatorMap获取一个元素并生成一个元素//新的一年给每个员工的工资加 5000。SingleOutputStreamOperator<Employee> map = employeeStream.map(new MapFunction<Employee, Employee>() { @Override public Emplo...原创 2019-12-13 21:57:46 · 117 阅读 · 0 评论 -
[flink]#14_Table API & SQL
需要的依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-table_2.11</artifactId> <version>1.6.1</version></dependency><depend...原创 2019-10-31 19:19:39 · 127 阅读 · 0 评论 -
[flink]#13_Data Set
DataSource基于集合fromCollection(Collection)基于文件readTextFile(path)TransformationMapFlatMapMapPartition: 一次处理一个分区的数据FilterReduceAggregationsDistinct: 返回数据集中去重后的元素JoinO...原创 2019-10-31 15:51:21 · 97 阅读 · 0 评论 -
[flink]#12_Data Stream
DataSource:数据源输入,Transformation:具体操作,Map,Flatmap,FilterSink:处理后数据存入指定介质DataSource基于文件readTextFile(path)基于SocketsocketTextStrean基于集合fromCollection(Collection)自定义输入Transformation...原创 2019-10-31 15:30:27 · 81 阅读 · 0 评论 -
[flink]#11_应用开发quick_start
开发步骤获得一个执行环境加载/创建初始化数据指定操作数据的Transaction算子指定计算好的数据的存放位置调用execute()触发执行程序Flink流处理 开发import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.java.utils.Parame...原创 2019-10-30 14:58:23 · 135 阅读 · 0 评论 -
[flink]#10_应用开发项目搭建
JavaMaven构建$ mvn archetype:generate \ -DarchetypeGroupId=org.apache.flink \ -DarchetypeArtifactId=flink-quickstart-java \ -Darchetyp...原创 2019-10-18 20:37:36 · 83 阅读 · 0 评论 -
[storm]#0_storm部署
单机版下载storm 并解压vi /etc/profileexport STORM_HOME=/usr/local/storm-1.1.1export PATH=$PATH:$STORM_HOME/binvi storm-1.1.1/conf/storm-env.sh/usr/java/jdk1.7.0_674.storm启动nohup sh storm dev-zoo...原创 2019-06-05 21:35:03 · 80 阅读 · 0 评论 -
[storm]#2_storm常用命令
storm list 查看作业storm kill topolody-name 终止作业kill -9 pid,pid,原创 2019-06-05 22:15:06 · 121 阅读 · 0 评论 -
[flume]$0_flume安装
下载解压 flume.apache.org/etc/profile 配置环境变量flume/conf/flume-env.sh, 设置JAVA_HOME原创 2019-06-12 20:38:03 · 80 阅读 · 0 评论 -
[flume]$1_flume使用
从网络端口采集数据输出到控制台vi conf/example.conf# example.conf: A single-node Flume configuration# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sou...原创 2019-06-12 22:04:00 · 94 阅读 · 0 评论 -
[kafka]$0_kafka部署
单节点单brokervi kafka/conf/server.propertiesbroker.id=0host.name=localhostlog.dirs=/usr/local/tmp/kafka-logszookeeper.connect=localhost:2181启动kafka kafka-server-start.sh config/server.proper...原创 2019-06-13 22:11:24 · 108 阅读 · 0 评论 -
[kafka]$1_kafak-api
pom.xml<dependencies><dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>2.11.8</version></dependenc...原创 2019-06-14 12:02:12 · 231 阅读 · 0 评论 -
[kafka]$2_flume->kafka完成实时数据收集
avro-memory-kafka.conf# Name the components on this agentavro-memory-kafka.sources = avro-sourceavro-memory-kafka.sinks = kafka-sinkavro-memory-kafka.channels = memory-channel# Describe/configur...原创 2019-06-15 14:23:18 · 219 阅读 · 0 评论 -
[storm]#1_初识storm
pom.xml<dependencies> <dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-core</artifactId> <version...原创 2019-06-05 17:28:29 · 126 阅读 · 0 评论