- 博客(12)
- 收藏
- 关注
RSS订阅原创 binlog
一、什么是binlog binlog是一个二进制格式的文件，用于记录用户对数据库更新的SQL语句信息，例如更改数据库表和更改内容的SQL语句都会记录到binlog里，但是对库表等内容的查询不会记录。 binlog的作用 当有数据写入到数据库时，还会同时把更新的SQL语句写入到对应的binlog文件里，这个文件就是上文说的binlog文件。使用mysqldump备份时，只是对一段时间的...
2019-12-02 19:10:56
130
原创 Spark交互式工具Spark-Shell
启动交互shell 在bin路径下启动./spark-shell --master spark://hdp1:7077 --executor-memory 500m --total-executor-cores 1 --master spark://hdp1:7077 sparkmaster节点的地址 --executor-memory 500m --total-executor-co...
2019-12-02 14:55:39
142
原创 lambda
1、什么是Lambda表达式 Lambda 表达式是一种匿名函数，简单地说，它是没有声明的方法，也即没有访问修饰符、返回值声明和名字。 它可以写出更简洁、更灵活的代码。作为一种更紧凑的代码风格，使 Java 语言的表达能力得到了提升。 表达式语法： 基本语法:(parameters) -> expression 或者：(parameters) -...
2019-11-14 14:21:49
87
原创 lucene
Lucene是一套用于全文检索和搜寻的开源程序库。 Lucene提供了一个简单却强大的应用程序接口（API），能够做全文索引和搜寻，在Java开发环境里Lucene是一个成熟的免费开放源代码工具 Lucene并不是现成的搜索引擎产品，但可以用来制作搜索引擎产品 Lucene、Solr、Elasticsearch关系 Lucene：底层的API，工具包 Solr：基于Lucene开发的企业...
2019-11-07 12:39:13
112
原创 storm统计
创建数据流SentenceSpout package wang.doug.river.storm.store; import org.apache.storm.spout.SpoutOutputCollector; import org.apache.storm.task.TopologyContext; import org.apache.storm.topology.OutputFie...
2019-10-25 11:33:50
214
原创 简单的storm工程
maven依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation=...
2019-10-25 11:05:37
127
原创 storm
storm是什么： Storm是一个流式计算框架 Storm用来实时处理数据，特点：低延迟、高可用、分布式、可扩展、数据不丢失。 安装storm： 1、解压安装包 2、修改配置文件：cd apps/storm-1.2.2/conf/storm.yaml storm.zookeeper.servers: - "hdp1" - "hdp2" - "hdp...
2019-10-25 10:57:13
69
原创 hive
1、安装好mysql，用mysql命令行客户端登录mysql服务器看是否成功 mysql -uroot -p1234 出现此页面说明MySQL运行成功。 2、安装hive 解压，配置文件的修改。 3、上传一个mysql的驱动jar包到hive的安装目录的lib中。配置环境变量，source /etc/profile 4、找到hive下的bin路径，启动hive ...
2019-10-17 19:52:55
65
原创 在springboot中使用kafka
1、将zookeeper以及kafka启动 2、添加依赖 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </depen...
2019-10-16 16:57:12
173
原创 将flume采集到的数据通过kafka上传到hdfs上
1、在ConsumerDemo中上传文件 package com.zpark.kafka; import java.io.*; import java.net.URI; import java.net.URISyntaxException; import java.util.Collections; import java.util.Properties; import org.apach...
2019-10-16 16:44:15
568
原创 在idea中配置生产者与消费者以及传数据到hdfs上
1、将生产者和消费者用代码在idea中实现 （1）添加依赖，pom.xml <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.12</artifactId> </dep...
2019-10-15 14:00:27
206
原创 kafka安装
1、将kafka压缩包解压 2、修改配置文件 ############################# Server Basics ############################# # The id of the broker. This must be set to a unique integer for each broker. broker.id=1 ####...
2019-10-14 19:40:28
95
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人