- 博客(12)
- 收藏
- 关注
RSS订阅原创 binlog
一、什么是binlog binlog是一个二进制格式的文件，用于记录用户对数据库更新的SQL语句信息，例如更改数据库表和更改内容的SQL语句都会记录到binlog里，但是对库表等内容的查询不会记录。binlog的作用 当有数据写入到数据库时，还会同时把更新的SQL语句写入到对应的binlog文件里，这个文件就是上文说的binlog文件。使用mysqldump备份时，只是对一段时间的...
2019-12-02 19:10:56
181
原创 Spark交互式工具Spark-Shell
启动交互shell在bin路径下启动./spark-shell --master spark://hdp1:7077 --executor-memory 500m --total-executor-cores 1--master spark://hdp1:7077 sparkmaster节点的地址--executor-memory 500m--total-executor-co...
2019-12-02 14:55:39
178
原创 lambda
1、什么是Lambda表达式 Lambda 表达式是一种匿名函数，简单地说，它是没有声明的方法，也即没有访问修饰符、返回值声明和名字。 它可以写出更简洁、更灵活的代码。作为一种更紧凑的代码风格，使 Java 语言的表达能力得到了提升。 表达式语法： 基本语法:(parameters) -> expression 或者：(parameters) -...
2019-11-14 14:21:49
121
原创 lucene
Lucene是一套用于全文检索和搜寻的开源程序库。Lucene提供了一个简单却强大的应用程序接口（API），能够做全文索引和搜寻，在Java开发环境里Lucene是一个成熟的免费开放源代码工具Lucene并不是现成的搜索引擎产品，但可以用来制作搜索引擎产品Lucene、Solr、Elasticsearch关系Lucene：底层的API，工具包Solr：基于Lucene开发的企业...
2019-11-07 12:39:13
164
原创 storm统计
创建数据流SentenceSpoutpackage wang.doug.river.storm.store;import org.apache.storm.spout.SpoutOutputCollector;import org.apache.storm.task.TopologyContext;import org.apache.storm.topology.OutputFie...
2019-10-25 11:33:50
259
原创 简单的storm工程
maven依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation=...
2019-10-25 11:05:37
155
原创 storm
storm是什么：Storm是一个流式计算框架Storm用来实时处理数据，特点：低延迟、高可用、分布式、可扩展、数据不丢失。安装storm：1、解压安装包2、修改配置文件：cd apps/storm-1.2.2/conf/storm.yamlstorm.zookeeper.servers: - "hdp1" - "hdp2" - "hdp...
2019-10-25 10:57:13
96
原创 hive
1、安装好mysql，用mysql命令行客户端登录mysql服务器看是否成功mysql -uroot -p1234出现此页面说明MySQL运行成功。2、安装hive 解压，配置文件的修改。3、上传一个mysql的驱动jar包到hive的安装目录的lib中。配置环境变量，source /etc/profile4、找到hive下的bin路径，启动hive...
2019-10-17 19:52:55
98
原创 在springboot中使用kafka
1、将zookeeper以及kafka启动2、添加依赖<dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </depen...
2019-10-16 16:57:12
215
原创 将flume采集到的数据通过kafka上传到hdfs上
1、在ConsumerDemo中上传文件package com.zpark.kafka;import java.io.*;import java.net.URI;import java.net.URISyntaxException;import java.util.Collections;import java.util.Properties;import org.apach...
2019-10-16 16:44:15
666
原创 在idea中配置生产者与消费者以及传数据到hdfs上
1、将生产者和消费者用代码在idea中实现 （1）添加依赖，pom.xml <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.12</artifactId> </dep...
2019-10-15 14:00:27
259
原创 kafka安装
1、将kafka压缩包解压2、修改配置文件############################# Server Basics ############################## The id of the broker. This must be set to a unique integer for each broker.broker.id=1####...
2019-10-14 19:40:28
138
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人