- 博客(13)
- 资源 (14)
- 问答 (1)
- 收藏
- 关注
原创 Kafka获取文件源码跟踪
目录:1、执行步鄹2、结果展现学习kafka提前参考:Kafka文件的存储机制http://blog.csdn.net/silentwolfyh/article/details/55095146Kafka:无丢失提取kafka的值,详解kafka的消费过程http://blog.csdn.net/silentwolfyh/article/details/54891764———————————————
2017-02-16 12:47:55 1073
原创 Intellij IDEA 解除(去除)SVN关联
安装插件1、打开Intellij中工具栏File的setting(ctrl+alt+s),选择plugins,在右边搜索框输入“SVN”,搜索。选择“SVN disconnect”。2、安装此插件,重启intellij idea3、插件使用点击菜单栏中的VCS,在下拉菜单中选择SVN disconnect,完成SVN版本管理移除。
2017-02-15 10:14:05 31478 1
原创 HttpServer发送数据到kafka
目录1、需求2、框架结构图和步鄹图3、代码结构4、代码展现———————————————————————-1、需求1.1、解析路径,将路径的最后一个字符串作为Appkey; 1.2、数据缓存,当Kafka无法正常访问时在本地Cache目录缓存数据; 1.3、安全验证,对请求的appkey进行合法性验证(签名验证待定); 1.4、自动更新appkey列表,每间隔一段时间获取一次最新的appkey
2017-02-15 09:53:16 5397 2
原创 Kafka文件的存储机制
目录:1、Kafka是什么2、前言3、Kafka文件存储机制–实际运行效果4、总结————————————————————————————————–1、Kafka是什么 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin
2017-02-14 09:58:03 3775
原创 Linux下大数据常用执行应用脚本
读取HDFS文件大小#!/bin/bashpath=$1dir=$(hadoop fs -ls $path | awk '{print $8}')for i in $dirdo hdfs dfs -du -s -h $idone 读取Linux文件大小#!/bin/bashpath=$1dir=$(ls -l $path |awk '/^d/ {print $NF}')for i in
2017-02-13 09:44:12 953
原创 IntelliJ IDEA打开多个Maven的module且相互调用代码
目录1、需求2、注意事项(6点非常重要)3、建立Project和建立module4、项目之前的依赖关系5、代码展示6、项目中POM依赖展示7、运行结果展示—————————————————————————————————————1、需求1、IntelliJ IDEA打开多个项目 2、每个同学开发一个项目,相互之前独立不影响 3、通过一个入口可以调用所有项目类、方法、属性,达到同时开发且检测代码
2017-02-10 14:23:12 35318
原创 SparkStreaming无丢失读取Kafka且转为DataFrame
目录1、需求2、步鄹3、日志格式4、代码展示5、运行结果展示6、Kafka Manager 和 Zookeeper展示———————————————————————————————1、需求1、SparkStreaming读取Kafka数据,且将offset存储到Zookeeper中 2、控制每次读取数据的最大值 3、将读取出来的数据,转为DataFrame2、步鄹1、通过zkClient.rea
2017-02-09 10:00:30 6529 4
原创 大数据组项目文档整理方案
大数据团队项目文档整理方案一、 项目文档规范说明1. 文档结构说明2. 案例说明二、 项目文档结构说明1. 文档结构步鄹:2. 案例如下:———————————————————————————————————一、 项目文档规范说明1. 文档结构说明1) 流程图使用Visio画图 2) 其余资料使用Mar
2017-02-09 09:04:47 5132
原创 Phoenix安装、连接Hbase、配置
目录:一、Phoenix安装二、Phoenix安装及连接Hbase三、phoenix 配置—————————————————————————————一、Phoenix安装1、首先去官网下载Phoenix的压缩包 下载地址:http://mirror.bit.edu.cn/apache/phoenix/ 由于我们系统的Hbase版本是1.1版本的,故下载4.7版本的Phoenix。
2017-02-06 16:20:02 8363 1
原创 CDH集群迁移
目录一:集群搭建二:hdfs数据迁移三:kafka节点添加四:hbase数据迁移———————————————————————————————————–一:集群搭建参考:http://blog.csdn.net/silentwolfyh/article/details/54893826二:hdfs数据迁移准备工作 1、新集群搭建完毕 2、新老机器所有yarn节点可以ping通 3、命令,在老集
2017-02-06 16:06:09 4382
原创 CDH5.14安装指南和维护(亲自搭建好多次)
目录:1、安装文件准备2、系统环境准备3、cloudera manager 调优4、Cloudera Manager安装5、CDH安装6、常用工具地址7、一些常见问题————————————————————————————————————–1、安装文件准备CDH下载地址:http://archive.cloudera.com/cdh5/parcels/latest/下载操作系统对应的版本:1.CDH
2017-02-06 15:56:54 10521 13
原创 Redis集群搭建步鄹
Redis cluster set upauthor: chenlei leibositeCluster architecture:steps:Download redis source file:wget http://download.redis.io/releases/redis-3.2.4.tar.gzUnzip:tar zxvf redis-3.2.4.tar.gzCompile:
2017-02-06 14:52:23 927
原创 Kafka:无丢失提取kafka的值,详解kafka的消费过程
目录:1、需求2、代码步鄹3、代码展现4、pom.xml文件5、结果展现——————————————————————————————————–1、需求前提:将org.apache.spark.streaming.kafka.KafkaCluster这个类抽出来变成KafkaClusterHelper * 需求:* 1、将kafka中的数据无丢失提取,且存到本地 2、详解Kafka读取数据步鄹
2017-02-06 13:05:53 6466
Mysql教程所有数据.zip
2020-05-05
crawlerBank.py
2019-07-08
SpringBoot的mvc三层以及增删改查页面
2018-11-22
spring boot+mybatis整合
2018-11-12
Lucene实战(第2版).pdf
2018-08-28
SparkSql技术
2018-08-16
hadoop-Apache2.7.3+Spark2.0集群搭建
2018-08-16
stable-diffusion-webui启动报错
2024-05-13
微博对一条微博进行评论API
2023-05-17
调用JEECG微博发帖API异常
2023-05-17
mac版本idea中路径颜色设置
2020-03-29
TA创建的收藏夹 TA关注的收藏夹
TA关注的人