关闭
当前搜索:

inotify监控Nginx目录且将Log文件放入Flume监控文件中

目录1、需求2、框架步鄹3、脚本和Nginx日志展示4、运行结果       1)日志展示和移动数据到监控目录       2) 启动监控脚本、查看运行前后、查看监控日志、查看结果路径数据—————————————————————————————————1、需求通过inotify监控Nginx目录,将生产Log文件放入Flume监控文件中2、框架步鄹3、脚本和Nginx日志展示备注:*.tar.gz...
阅读(502) 评论(0)

Kafka获取文件源码跟踪

目录:1、执行步鄹2、结果展现学习kafka提前参考:Kafka文件的存储机制http://blog.csdn.net/silentwolfyh/article/details/55095146Kafka:无丢失提取kafka的值,详解kafka的消费过程http://blog.csdn.net/silentwolfyh/article/details/54891764———————————————...
阅读(522) 评论(0)

Intellij IDEA 解除(去除)SVN关联

安装插件1、打开Intellij中工具栏File的setting(ctrl+alt+s),选择plugins,在右边搜索框输入“SVN”,搜索。选择“SVN disconnect”。2、安装此插件,重启intellij idea3、插件使用点击菜单栏中的VCS,在下拉菜单中选择SVN disconnect,完成SVN版本管理移除。...
阅读(2643) 评论(0)

HttpServer发送数据到kafka

目录1、需求2、框架结构图和步鄹图3、代码结构4、代码展现———————————————————————-1、需求1.1、解析路径,将路径的最后一个字符串作为Appkey; 1.2、数据缓存,当Kafka无法正常访问时在本地Cache目录缓存数据; 1.3、安全验证,对请求的appkey进行合法性验证(签名验证待定); 1.4、自动更新appkey列表,每间隔一段时间获取一次最新的appkey...
阅读(2173) 评论(2)

Kafka文件的存储机制

目录:1、Kafka是什么2、前言3、Kafka文件存储机制–实际运行效果4、总结————————————————————————————————–1、Kafka是什么 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin...
阅读(1013) 评论(0)

Linux下大数据常用执行应用脚本

读取HDFS文件大小#!/bin/bashpath=$1dir=$(hadoop fs -ls $path | awk '{print $8}') for i in $dir do hdfs dfs -du -s -h $i done 读取Linux文件大小#!/bin/bashpath=$1dir=$(ls -l $path |awk '/^d/ {print $NF}') for i in...
阅读(481) 评论(0)

IntelliJ IDEA打开多个项目且相互调用代码

目录1、需求2、注意事项(6点非常重要)3、建立Project和建立module4、项目之前的依赖关系5、代码展示6、项目中POM依赖展示7、运行结果展示—————————————————————————————————————1、需求1、IntelliJ IDEA打开多个项目 2、每个同学开发一个项目,相互之前独立不影响 3、通过一个入口可以调用所有项目类、方法、属性,达到同时开发且检测代码...
阅读(8360) 评论(0)

北京一环 二环 三环 四环 五环 六环 周长和面积

一环线 周长 16.9公里 环内面积 18平方公里二环线 周长 32.7公里 环内面积 62平方公里三环线 周长 48.3公里 环内面积 159平方公里四环线 周长 65.3公里 环内面积 302平方公里五环线 周长 98.6公里 环内面积 667平方公里六环线 周长188.0公里 环内面积2267平方公里...
阅读(22496) 评论(0)

SparkStreaming无丢失读取Kafka且转为DataFrame

目录1、需求2、步鄹3、日志格式4、代码展示5、运行结果展示6、Kafka Manager 和 Zookeeper展示———————————————————————————————1、需求1、SparkStreaming读取Kafka数据,且将offset存储到Zookeeper中 2、控制每次读取数据的最大值 3、将读取出来的数据,转为DataFrame2、步鄹1、通过zkClient.rea...
阅读(2450) 评论(4)

大数据组项目文档整理方案

目录: 一、 项目文档规范说明 1. 文档结构说明 2. 案例说明 二、 项目文档结构说明 1. 文档结构步鄹: 2. 案例如下: ——————————————————————————————————— 一、 项目文档规范说明 1. 文档结构说明 1) 流程图使用Visio画图 2) 其余资料使用Mar...
阅读(1189) 评论(0)

Phoenix安装、连接Hbase、配置

目录:一、Phoenix安装二、Phoenix安装及连接Hbase三、phoenix 配置—————————————————————————————一、Phoenix安装1、首先去官网下载Phoenix的压缩包 下载地址:http://mirror.bit.edu.cn/apache/phoenix/ 由于我们系统的Hbase版本是1.1版本的,故下载4.7版本的Phoenix。...
阅读(3200) 评论(1)

CDH集群迁移

目录一:集群搭建二:hdfs数据迁移三:kafka节点添加四:hbase数据迁移———————————————————————————————————–一:集群搭建参考:http://blog.csdn.net/silentwolfyh/article/details/54893826二:hdfs数据迁移准备工作 1、新集群搭建完毕 2、新老机器所有yarn节点可以ping通 3、命令,在老集...
阅读(1259) 评论(0)

CDH安装和维护

目录:1、安装文件准备2、系统环境准备3、cloudera manager 调优4、Cloudera Manager安装5、CDH安装6、常用工具地址7、一些常见问题————————————————————————————————————–1、安装文件准备CDH下载地址:http://archive.cloudera.com/cdh5/parcels/latest/下载操作系统对应的版本:1.CDH...
阅读(1452) 评论(0)

Redis集群搭建步鄹

Redis cluster set upauthor: chenlei leibositeCluster architecture:steps: Download redis source file: wget http://download.redis.io/releases/redis-3.2.4.tar.gz Unzip:tar zxvf redis-3.2.4.tar.gz Compile:...
阅读(600) 评论(0)

Kafka:无丢失提取kafka的值,详解kafka的消费过程

目录:1、需求2、代码步鄹3、代码展现4、pom.xml文件5、结果展现——————————————————————————————————–1、需求前提:将org.apache.spark.streaming.kafka.KafkaCluster这个类抽出来变成KafkaClusterHelper * 需求:* 1、将kafka中的数据无丢失提取,且存到本地 2、详解Kafka读取数据步鄹...
阅读(2642) 评论(0)
333条 共23页首页 上一页 ... 6 7 8 9 10 ... 下一页 尾页
    【个人简介】
    姓名:余辉

    地点:北京昌平

    学历:中科院硕士

    QQ :348835027

    微信:silentwolfyh

    我的新书【点击图片】
    (京东)(天猫)(当当)

    本书QQ群:275243793
    个人资料
    • 访问:510572次
    • 积分:7839
    • 等级:
    • 排名:第3188名
    • 原创:286篇
    • 转载:23篇
    • 译文:24篇
    • 评论:95条
    博客专栏