北京小辉的博客

学习是一种享受,也是一种痛苦,更是一种回忆!!!

排序:
默认
按更新时间
按访问量

CDH的Flume配置Adding multiple flows in an agent

注意事项:1)需求:在CDH的Flume上面配置2个flows,2个flows的监控文件路径不一样,且将监控的文件发送到不同kafka中,最后删除读取完的文件http://flume.apache.org/FlumeUserGuide.html#adding-multiple-flows-in-a...

2017-03-06 13:07:26

阅读数:627

评论数:0

Java开发环境搭建

目录:(一) Java安装(二) Eclipse安装(三) Eclipse的Java安装(四) Maven安装       1) 工具下载:       2) maven配置       3) 配置完成       4) Eclipse加载Maven    ...

2017-03-05 20:47:41

阅读数:480

评论数:0

CDH启动和日志查看

目录:cdh集群启动cdh集群Linux日志查看cdh集群管理界面日志查看——————————————————————————————————cdh集群启动备注:公司CDH集群为CDH-5.7.1版本1)登录Master机器 执行命令: /opt/cm-5.7.1/etc/init.d/clo...

2017-03-02 12:58:56

阅读数:3244

评论数:0

inotify监控Nginx目录且将Log文件放入Flume监控文件中

目录1、需求2、框架步鄹3、脚本和Nginx日志展示4、运行结果       1)日志展示和移动数据到监控目录       2) 启动监控脚本、查看运行前后、查看监控日志、查看结果路径数据—————————————————————————————————1、需求通过inotify监控Nginx目录...

2017-03-01 13:06:43

阅读数:670

评论数:0

Kafka获取文件源码跟踪

目录:1、执行步鄹2、结果展现学习kafka提前参考:Kafka文件的存储机制http://blog.csdn.net/silentwolfyh/article/details/55095146Kafka:无丢失提取kafka的值,详解kafka的消费过程http://blog.csdn.net/...

2017-02-16 12:47:55

阅读数:635

评论数:0

Intellij IDEA 解除(去除)SVN关联

安装插件1、打开Intellij中工具栏File的setting(ctrl+alt+s),选择plugins,在右边搜索框输入“SVN”,搜索。选择“SVN disconnect”。2、安装此插件,重启intellij idea3、插件使用点击菜单栏中的VCS,在下拉菜单中选择SVN discon...

2017-02-15 10:14:05

阅读数:9731

评论数:6

HttpServer发送数据到kafka

目录1、需求2、框架结构图和步鄹图3、代码结构4、代码展现———————————————————————-1、需求1.1、解析路径,将路径的最后一个字符串作为Appkey; 1.2、数据缓存,当Kafka无法正常访问时在本地Cache目录缓存数据; 1.3、安全验证,对请求的appkey进行合...

2017-02-15 09:53:16

阅读数:2746

评论数:2

Kafka文件的存储机制

目录:1、Kafka是什么2、前言3、Kafka文件存储机制–实际运行效果4、总结————————————————————————————————–1、Kafka是什么 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志...

2017-02-14 09:58:03

阅读数:1729

评论数:0

Linux下大数据常用执行应用脚本

读取HDFS文件大小#!/bin/bashpath=$1dir=$(hadoop fs -ls $path | awk '{print $8}') for i in $dir do hdfs dfs -du -s -h $i done 读取Linux文件大小#!/bin/bashpath=$...

2017-02-13 09:44:12

阅读数:537

评论数:0

IntelliJ IDEA打开多个项目且相互调用代码

目录1、需求2、注意事项(6点非常重要)3、建立Project和建立module4、项目之前的依赖关系5、代码展示6、项目中POM依赖展示7、运行结果展示—————————————————————————————————————1、需求1、IntelliJ IDEA打开多个项目 2、每个同学开发...

2017-02-10 14:23:12

阅读数:16810

评论数:0

北京一环 二环 三环 四环 五环 六环 周长和面积

一环线 周长 16.9公里 环内面积 18平方公里二环线 周长 32.7公里 环内面积 62平方公里三环线 周长 48.3公里 环内面积 159平方公里四环线 周长 65.3公里 环内面积 302平方公里五环线 周长 98.6公里 环内面积 667平方公里六环线 周长188.0公里 环内面积226...

2017-02-09 16:35:20

阅读数:34401

评论数:0

SparkStreaming无丢失读取Kafka且转为DataFrame

目录1、需求2、步鄹3、日志格式4、代码展示5、运行结果展示6、Kafka Manager 和 Zookeeper展示———————————————————————————————1、需求1、SparkStreaming读取Kafka数据,且将offset存储到Zookeeper中 2、控制每次...

2017-02-09 10:00:30

阅读数:3545

评论数:4

大数据组项目文档整理方案

目录: 一、 项目文档规范说明 1. 文档结构说明 2. 案例说明 二、 项目文档结构说明 1. 文档结构步鄹: 2. 案例如下: ——————————————————————————————————— 一、 项目文档规...

2017-02-09 09:04:47

阅读数:1672

评论数:0

Phoenix安装、连接Hbase、配置

目录:一、Phoenix安装二、Phoenix安装及连接Hbase三、phoenix 配置—————————————————————————————一、Phoenix安装1、首先去官网下载Phoenix的压缩包 下载地址:http://mirror.bit.edu.cn/apache/p...

2017-02-06 16:20:02

阅读数:4917

评论数:1

CDH集群迁移

目录一:集群搭建二:hdfs数据迁移三:kafka节点添加四:hbase数据迁移———————————————————————————————————–一:集群搭建参考:http://blog.csdn.net/silentwolfyh/article/details/54893826二:hdfs...

2017-02-06 16:06:09

阅读数:1698

评论数:0

CDH安装和维护

目录:1、安装文件准备2、系统环境准备3、cloudera manager 调优4、Cloudera Manager安装5、CDH安装6、常用工具地址7、一些常见问题————————————————————————————————————–1、安装文件准备CDH下载地址:http://archiv...

2017-02-06 15:56:54

阅读数:2466

评论数:0

Redis集群搭建步鄹

Redis cluster set upauthor: chenlei leibositeCluster architecture:steps: Download redis source file: wget http://download.redis.io/releases/redis-3.2...

2017-02-06 14:52:23

阅读数:649

评论数:0

Kafka:无丢失提取kafka的值,详解kafka的消费过程

目录:1、需求2、代码步鄹3、代码展现4、pom.xml文件5、结果展现——————————————————————————————————–1、需求前提:将org.apache.spark.streaming.kafka.KafkaCluster这个类抽出来变成KafkaClusterHelpe...

2017-02-06 13:05:53

阅读数:3787

评论数:0

Kafka:Kafka的生产和消费(Java版本)

目录:1、代码2、POM3、展示—————————————————————————————1、代码package com.donews.data.kafkatest;import java.io.BufferedReader; import java.io.FileReader; import j...

2017-01-23 16:08:57

阅读数:1550

评论数:0

设计模式:懒汉式和饿汉式

下面对单例模式的懒汉式与饿汉式进行简单介绍: 1、饿汉式:在程序启动或单件模式类被加载的时候,单件模式实例就已经被创建。 2、懒汉式:当程序第一次访问单件模式实例时才进行创建。 如何选择:如果单例模式实例在系统中经常会被用到,饿汉式是一个不错的选择。反之如果单例模式在系统中会很少用到或者几乎...

2017-01-23 10:36:13

阅读数:415

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭