2019年10月_. 钢筋

原创 MapReduce原理

MapReduce分为两部分：map阶段和reduce阶段 MapReduce优点：并行计算 MapReduce的整个工作过程 input：输入原始数据 mapreduce框架：自动将每一行数据用行号来编成key（输入给map之前） map：输入给map是k–v，经过map的处理，将每一行单独转换成另外的k—v段（注：map输出的数据有很多重复的，并且没有被排序，不利于下一步的reduce处理...

2019-10-28 18:45:39 122

原创 springboot结合kafka运用

pom.xml： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://ma...

2019-10-22 18:59:03 109

原创 kafka的Java代码定时上传数据到hdfs

消费者： package com.zpark.kafkatest.one; import java.io.*; import java.net.URI; import java.net.URISyntaxException; import java.util.Collections; import java.util.Properties; import org.apache.hadoop....

2019-10-22 18:47:55 245

原创 kafka的Java代码创建生产者和消费者

1、创建Maven项目 2、添加kafka依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.12</artifactId> </dependency> &...

2019-10-17 10:05:02 823

原创 kafka在linux上创建生产者与消费者

1、在linux运行kafka [root@hdp-1 bin]# cd apps/kafka_2.12-2.2.0/bin [root@hdp-1 bin]# ./kafka-server-start ../config/server.properties 2、创建主题test [root@hdp-1 bin]# cd apps/kafka_2.12-2.2.0/bin [root@hdp-1...

2019-10-16 18:35:14 2296

原创 kafka详细安装运行

1、Alt+p打开sftp，将kafka上传到linux，我上传到hdp-4，/root/apps sftp> cd apps sftp> put -r "C:\Users\ThinkPad\Documents\Tencent Files\840657524\FileRecv\kafka_2.12-2.2.0.tgz" Uploading kafka_2.12-2.2.0.tgz to...

2019-10-16 18:13:56 104

原创 ider中运行web项目出现的问题及解决方法

java.lang.IllegalArgumentException: Invalid character found in the request target. The valid characters are defined in RFC 7230 and RFC 3986 解决方法：重新写ajax的方法 Public Key Retrieval is not allowed 解决方法： ...

2019-10-14 09:33:08 558

原创 Flume及nginx的安装运用

Flume采集数据到hdfs： 1、启动HDFS start-dfs.sh 2、启动YARN start-yarn.sh 3、将flume上传到hdp-1的apps中，解压 tar -zxvf flume-1.6.0 4、配置文件 vi /etc/profile export FLUME_HOME=/root/apps/flume-1.6.0 export PATH=$FLUME_HOME/...

2019-10-11 16:12:34 424

weixin_45577149的博客