![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
逛逛1973
一位知识构架全面,学术,工程能力强的算法工程师
展开
-
Java Api 操作HDFS实战及HDFS读写原理
新建maven工程 - quickstart1. pom文件引入依赖 <!-- hdfs 依赖 --> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifact...原创 2019-04-11 13:27:46 · 1365 阅读 · 0 评论 -
Spark Streaming整合Flume实战
一、实战目录二、以push方式整合2.1 参考官网详细的编程指南概述http://spark.apache.org/docs/latest/streaming-flume-integration.html#spark-streaming-flume-integration-guide2.2 Push - Flume Agent - flume_push_streaming.conf文件 ...原创 2019-06-10 22:41:10 · 331 阅读 · 0 评论 -
linux+scala+hadoop+yarn+hbase+spark 环境配置
一、scala环境配置1.1 下载地址:https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz1.2 解压、配置环境变量 ~./bash_profile1.3 命令行直接输入scala测试二、maven环境变量的配置2.1 下载地址3.3.9:https://archive.apache.org/d...原创 2019-05-24 11:15:52 · 276 阅读 · 0 评论 -
kafka安装配置实战 - 多个broker集群配置实战
一、总体目标版本: zookeeper3.4.14二、安装kafka之前,首先安装zookeeper2.1 zookeeper下载地址:(本次采用3.4.5, cdh版本, 版本不同很容易出错)http://archive.apache.org/dist/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gzhttps:...原创 2019-05-21 15:34:14 · 3936 阅读 · 0 评论 -
Spark Streaming入门-World Count 功能
一、总体实现的两种方式spark-submit方式运行spark-shell 方式执行二、首先以spark-submit方式运行2.1 在执行之前先启动网络端口nc -lk 9999执行该方法./spark-submit --master local[2] --class org.apache.spark.examples.streaming.NetworkWordCount...原创 2019-05-24 19:13:10 · 323 阅读 · 0 评论 -
flume安装配置实战
一、 读取网络端口的日志flume-ng agent --name a1 --conf $FLUME_HOME/conf --conf-file $FLUME_HOME/conf/example.conf -Dflume.root.logger=Info,console二、 读取本地日志文件的更改flume-ng agent --name a1 ...原创 2019-05-18 22:15:09 · 145 阅读 · 0 评论 -
Hadoop分布式集群的搭建
一、 机器的准备,三台虚拟机二、 ssh免密码登陆三、 jdk的安装(仅在hadoop000)四、Hadoop环境配置五、 hadoop集群环境的分发(执行拷贝命令)记得要在各个节点让环境生效六、 HDFS NameNode格式化在bin目录下面七、Hadoop集群的启动八、验证停止集群...原创 2019-04-16 22:07:17 · 130 阅读 · 0 评论 -
MapReduce分布式框架-WordCount案例实战
combiner - 本地统计,减少传输partitioner - 分发规则自定义jobhistory - 记录完整的mapreduce运行信息 - logpackage wordcount;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import ...原创 2019-04-13 22:11:06 · 199 阅读 · 0 评论 -
Elastic Stack 入门手记(一)
一、Elastic Search(1)本地快速启动es集群的方法启动命令:D:\Downloads\ElasticSearch\es-rtf-master\bin>elasticsearchD:\Downloads\ElasticSearch\es-rtf-master\bin>elasticsearch -Ehttp.port=8100 -Epath.data=nod...原创 2019-04-15 18:43:30 · 202 阅读 · 0 评论 -
ELK学习 - 环境的搭建
一、es安装使用下载es安装包之前必须先安装好java,并且在环境变量中新建环境变量JAVA_HOME,设置值是jdk文件夹地址,如:1、从官方下载中心 ElasticSearch Download 下载ElasticSearch安装包2、安装完es后,去es目录下/bin/下,启动elasticsearch.bat完了以后再去启动es服务看到如图即启动成功...原创 2019-04-11 14:38:02 · 160 阅读 · 0 评论 -
Kafka实战之整合Flume和Kafka完成实时数据采集
一、整合Flume和Kafka完成实时数据采集流程二、修改flume配置文件,从控制台输出到kafka/***之前的配置控制台文件**/[peng@bogon conf]$ cat avro-memory-logger.conf vro-memory-logger.sources = avro-sourceavro-memory-logger.sinks =...原创 2019-06-10 23:44:55 · 4350 阅读 · 0 评论