strugglejiaxin的博客

一、什么是binlog binlog是一个二进制格式的文件，用于记录用户对数据库更新的SQL语句信息，例如更改数据库表和更改内容的SQL语句都会记录到binlog里，但是对库表等内容的查询不会记录。binlog的作用 当有数据写入到数据库时，还会同时把更新的SQL语句写入到对应的binlog文件里，这个文件就是上文说的binlog文件。使用mysqldump备份时，只是对一段时间的...

启动交互shell在bin路径下启动./spark-shell --master spark://hdp1:7077 --executor-memory 500m --total-executor-cores 1--master spark://hdp1:7077 sparkmaster节点的地址--executor-memory 500m--total-executor-co...

1、什么是Lambda表达式 Lambda 表达式是一种匿名函数，简单地说，它是没有声明的方法，也即没有访问修饰符、返回值声明和名字。 它可以写出更简洁、更灵活的代码。作为一种更紧凑的代码风格，使 Java 语言的表达能力得到了提升。 表达式语法： 基本语法:(parameters) -> expression 或者：(parameters) -...

Lucene是一套用于全文检索和搜寻的开源程序库。Lucene提供了一个简单却强大的应用程序接口（API），能够做全文索引和搜寻，在Java开发环境里Lucene是一个成熟的免费开放源代码工具Lucene并不是现成的搜索引擎产品，但可以用来制作搜索引擎产品Lucene、Solr、Elasticsearch关系Lucene：底层的API，工具包Solr：基于Lucene开发的企业...

创建数据流SentenceSpoutpackage wang.doug.river.storm.store;import org.apache.storm.spout.SpoutOutputCollector;import org.apache.storm.task.TopologyContext;import org.apache.storm.topology.OutputFie...

maven依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation=...

storm是什么：Storm是一个流式计算框架Storm用来实时处理数据，特点：低延迟、高可用、分布式、可扩展、数据不丢失。安装storm：1、解压安装包2、修改配置文件：cd apps/storm-1.2.2/conf/storm.yamlstorm.zookeeper.servers: - "hdp1" - "hdp2" - "hdp...

1、安装好mysql，用mysql命令行客户端登录mysql服务器看是否成功mysql -uroot -p1234出现此页面说明MySQL运行成功。2、安装hive 解压，配置文件的修改。3、上传一个mysql的驱动jar包到hive的安装目录的lib中。配置环境变量，source /etc/profile4、找到hive下的bin路径，启动hive...

1、将zookeeper以及kafka启动2、添加依赖<dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </depen...

1、在ConsumerDemo中上传文件package com.zpark.kafka;import java.io.*;import java.net.URI;import java.net.URISyntaxException;import java.util.Collections;import java.util.Properties;import org.apach...

1、将生产者和消费者用代码在idea中实现 （1）添加依赖，pom.xml <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.12</artifactId> </dep...

1、将kafka压缩包解压2、修改配置文件############################# Server Basics ############################## The id of the broker. This must be set to a unique integer for each broker.broker.id=1####...