Ntozot的博客

kafka日志被系统清理导致异常停止,kafka报错如下：ERROR Failed to clean up log for __consumer_offsets-2 in dir /tmp/kafka-logs due to IOException (kafka.server.LogDirFailureChannel)java.nio.file.NoSuchFileException: /tmp/kafka-logs/__consumer_offsets-2/00000000000000000000.l

问题一Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.ShellMain], main() threw exception, Cannot run program "shell.sh" (in directory "/yarn/nm/usercache/admin/appcache/application_15...

ntpdate同步在使用ntp同步内网中某台服务器的时间ntpdate 10.1.x.x出现以下错误：the NTP socket is in use, exiting这是因为ntp服务处于开启状态，如果关掉ntp服务：systemctl stop ntpd则会出现另一个错误，如下；通过百度，会看到各种复制、不经验证、乱七八糟的东西，结果不言而喻全是失败。no server s...

前言：删除kafka topic及其数据，严格来说并不是很难的操作。但是，往往给kafka 使用者带来诸多问题。项目组之前接触过多个开发者，发现都会偶然出现无法彻底删除kafka的情况。本文总结多个删除kafka topic的应用场景，总结一套删除kafka topic的标准操作方法。转载文章，加一些批注，原文出处不详step1：如果需要被删除topic 此时正在被程序 produce和c...

一次kafka重启过程中，broker启动失败，报错：3:50:49.243 PM ERROR LogManager There was an error in one of the threads during logs loading: java.lang.NumberFormatException: For input string: "00000000000000000000_txt"...

在进行centos kafka集群与windows交互的过程中，发现centos上的kafka的consumer 或者 producer无法连接到windows的broker，报错如下：[2018-12-17 10:41:50,324] ERROR Error when sending message to topic test with key: null, value: 5 bytes wi...

DataNode增加数据目录进行扩容以及UUID不一致问题DataNode扩容DataNode增加数据目录进行扩容以及UUID不一致问题增加DataNode数据目录进行扩容重启UUID不一致问题增加DataNode数据目录进行扩容HDFS在使用过程中，随着使用时间的不断增长，存储的数据越来越多，可能会出现磁盘容量不够的情况，这时候可以进行扩容，增加DataNode的数据目录。笔者使用的是CD...

zabbix安装笔记MySQL相关配置安装zabbix创建zabbix用户zabbix压缩包下载，解压安装导入数据库数据zabbix_server配置其他系统配置，启动、软连接等zabbix_agent配置zabbix_server启动错误另个坑：zabbix的web配置MySQL相关配置首先说明的是我的MySQL与zabbix server不在同一台机器上，这在后面zabbix安装好后进行配...

centos离线安装php以及相关问题汇总离线安装的两种方式php的压缩包tar.gz和rpm包重点过程初始依赖安装环境依赖检查和安装php安装错误整理网络上其他错误整理,安装成功及环境变量配置rpm方式安装参考离线安装的两种方式此次安装是为安装zabbix做准备。安装在测试环境上进行，有外网访问；正式环境是离线环境，没有外网访问。所以需要先将相关的软件包下载下来，这里有两种情况：通过yu...

需要将mysql一张表的数据导入到hive表当中 初始的执行命令如下：sqoop import --connect jdbc:mysql://10.1.x.x:3306/dbname?characterEncoding=utf-8--username root --password 123456 --table test--target-dir /home/hdfs/data/t...

参考文章： 文章一：https://blog.csdn.net/rico_zhou/article/details/79866076 文章二：https://blog.csdn.net/u012050154/article/details/76270655 文章三：https://blog.csdn.net/yuebao1991/article/details/72771599windo...

##beeline连接HIVE默认登入使用anonymous用户权限不够在用beeline连接hive查询表数据时，出现错误权限不够ERROR : Job Submission failed with exception 'org.apache.hadoop.security.AccessControlException(Permission denied: user=anonymous, ...

原文地址：http://www.cnblogs.com/xiaoma0529/p/7094591.html spark on yarn 2.0.1偶尔出现报错：2018-01-22 12:36:05,804 ERROR org.apache.spark.network.server.TransportRequestHandler: Error while invoking RpcHandl

Spark随机森林之多分类模型关于随机森林随机森林算法是机器学习、计算机视觉等领域内应用极为广泛的一个算法，它不仅可以用来做分类，也可用来做回归即预测，随机森林机由多个决策树构成，相比于单个决策树算法，它分类、预测效果更好，不容易出现过度拟合的情况。

通过case class创建DataFrame通过case class 把rdd转化为DF是我们常用的方法，当字段较多时，就不方便用case class来创建DataFrame。可以使用SparkSQL schema创建DF。

关于博客转眼入Spark的坑已经有三个月，不断尝试，不断练习，翻阅网上海量的资料，终有所得。博客的原文来自美团点评技术团队的李雪蕤,文章对Spark程序的性能调优有一个系统、详细的讲解，希望对被Spark性能问题所困扰的各位有所帮助。

关于博客转眼入Spark的坑已经有三个月，不断尝试，不断练习，翻阅网上海量的资料，终有所得。博客的原文来自美团点评技术团队的李雪蕤,文章对Spark程序的性能调优有一个系统、详细的讲解，希望对被Spark性能问题所困扰的各位有所帮助。