一叶扁粥-CSDN博客

原创 idea远程调试看flume源码

感觉对flume只是会用，并不了解底层实现，所以我准备追追源码，看看flume的一个运行过程。1.安装flume（略）2.开启远程调试在flume的bin目录找到flume-ng，然后在flume-ng中找到图中所示的部分：修改框住的地方为：JAVA_OPTS="-Xmx20m -Xdebug -Xrunjdwp:transport=dt_socket,address=8000,ser...

2019-07-22 11:53:52 363

原创 cdh5.12安装spark2时，客户端配置 (id=12) 已使用 1 退出,而预期值为 0

因为cm安装spark不会去环境变量去找java，而是去/usr/java/default查找解决方法：mkdir /usr/javaln -s /opt/module/jdk1.8.0_144/ /usr/java/default

2019-07-15 17:12:17 425

原创 hue调度oozie，oozie再调度sqoop遇到的问题

1.一直心跳，不执行任务这是因为资源不足，下图所示的容器内存多给点2.执行sqoop任务失败这个我一开始是admin用户登录，后来突发奇想换个用户试试，然后创建了一个用户名和密码都是yarn的用户，重新登录，重新写workflow，然后执行就成功了，原因暂时还不知道。...

2019-07-15 16:10:54 728

原创 -XX:-HeapDumpOnOutOfMemoryError

遇到这个以为是报错，结果不影响框架的使用，后来查阅资料发现：这个不是错误，他是当抛出OOM时进行HeapDump，是一个调试参数

2019-07-15 14:45:00 854

原创 ssh突然失效

遇到很多次ssh突然某台机器失效：解决方法如下：首先查看/var/log/sec…（后面记不清了）日志，发现权限不对修改用户家目录权限：chmod 700 /home/user如果还不行继续修改.ssh权限：chmod 600 /home/user/.ssh...

2019-07-15 14:36:12 1019

原创命令行执行可以，脚本无效的解决办法

今天在CDH上模拟数据的时候发现，使用通过命令行的方式调用java代码模拟数据可以成功运行，但是放到脚本中就失效。我是这么解决的：原来的脚本：#! /bin/bash for i in hadoop102 hadoop103 do ssh $i java -classpath /opt/module/log-collector-1.0-SNAPSHOT-jar-with-...

2019-07-15 14:33:56 3853

转载 Kafka分区分配策略

之前一直以为kafka分区分配策略只有两种：range和roundRobin，突然今天发现了第三种，记录一下，因为博主不允许私自转载，所以把链接放到这里防止以后找不到。rangehttps://blog.csdn.net/u013256816/article/details/81123600roundRobin和stickyhttps://blog.csdn.net/u013256816/...

2019-07-03 09:11:07 369 1

原创 Git学习笔记

为什么写我发现一个东西，不管之前学的咋样，好久不用都会忘记。所以再学习一遍Git，这次做做笔记，方便之后翻看。安装Git官方网址默认选项安装完，点开始菜单点击Git Bash输入：$ git config --global user.name "Your Name"$ git config --global user.email "email@example.com"在机器上找一...

2019-05-21 10:28:02 92

原创 CentOS6.8安装Ambari

格式有时间在改第1章 Ambari简述1.1 什么是AmbariApache Ambari项目旨在通过开发用于配置，管理和监控Apache Hadoop集群的软件来简化Hadoop管理。Ambari提供了一个直观，易用的Hadoop管理Web UI。1.2 Ambari的功能Ambari提供了跨任意数量的主机安装Hadoop服务的分步向导。Ambari处理群集的Hadoop服务配置。...

2019-05-09 17:31:11 704 4

原创 clickhouse的安装和使用（单机+集群）

什么是clickhousClickHouse 是俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS），主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。安装前的准备以CentOS6.8为例1. CentOS取消打开文件数限制在/etc/security/limits.conf、/etc/security/limits.d/90-nproc.con...

2019-05-09 13:15:59 6064 1