- 博客(7)
- 资源 (15)
- 收藏
- 关注
RSS订阅原创 `fetch_cluster_info': Could not connect to any of the seed brokers: (Kafka::ConnectionError)
fluent-plugin-kafka (0.6.6) ruby-kafka (0.4.4)在使用fluentd中使用 kafka source 会出现问题 默认会安装 fluent-plugin-kafka (0.6.6) ruby-kafka (0.5.2)但是测试发现会出现若干问题 ruby-kafka 说明中指出支持kafka0.9 不过下了相关tag版本的r
2018-01-30 18:24:51
1024
原创 fluentd 日志分流到不同的kafka
说明数据源来自 source1,测试数据来自source2此处根据日志的特征分流到不同的kafkatopic，当然也可以到ES 或者是 file,一个match中的数据可以有多个store进行存储，不过可能会相互影响，也就是copy到两个地方。# 具体参考 https://docs.fluentd.org/v0.12/articles/out_rewrite_tag_filter?q=st
2018-01-22 16:30:57
4292
原创 定时任务之不明显的错误导致任务失败
exception ： hdfs file not find Caused by: org.apache.hadoop.ipc.RemoteException(java.io.FileNotFoundException): File does not exist: /user/hive/warehouse/cproject.db/cplatform_map_today/part-00176
2018-01-19 10:56:26
1436
原创 TensorFlowOnSpark 使用
搭建请参考上一篇文章。1.广播环境变量,指定Python的路径export PYTHON_ROOT=/data/Pythonexport PYSPARK_PYTHON=${PYTHON_ROOT}/bin/pythonexport SPARK_YARN_USER_ENV=”PYSPARK_PYTHON=Python/bin/python”2.提交具体任务遇到权限问题是普
2018-01-18 12:05:14
801
原创 tensorflow on spark yarn model deploy on CDH5.12 cluster
TensorFlow是谷歌提供的开源深度学习框架TensorFlowOnSpark: 是雅虎提供的集成到Spark上的深度学习框架鉴于我们使用的是Spark核心计算框架，现在搭建TensorFlow ON Hadoop Yarn开发环境 架构 https://www.jianshu.com/p/62b4ebb5a2f4 http://yahoohadoop.tumblr.com/
2018-01-18 12:03:37
1371
原创 fluentd 使用笔记
fluentd 使用 小计plugin 地址 https://www.fluentd.org/plugins/allplugin 安装实例 td-agent-gem install fluent-plugin-concat fluentd UI进行界面化操作管理 https://github.com/fluent/fluentd-ui官网 https://docs.
2018-01-11 14:38:33
723
转载 Hadoop NameNode 高可用 (High Availability) 实现解析
NameNode 高可用整体架构概述在 Hadoop 1.0 时代，Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题，这其中以 NameNode 的单点问题尤为严重。因为 NameNode 保存了整个 HDFS 的元数据信息，一旦 NameNode 挂掉，整个 HDFS 就无法访问，同时 Hadoop 生态系统中依赖于 HDFS 的各个组
2018-01-03 22:05:25
2334
useragent解析逻辑&手机品牌匹配.txt
2021-11-22
shakespeare.json&logs;.jsonl.gz&accounts;.zip
2018-01-10
kafka-manager 1.3.3.15
2018-01-08
百度网盘 数据仓库工具箱 维度建模权威指南 第3版 全
2017-10-16
数据仓库工具箱 维度建模权威指南 第3版
2017-10-16
IDEA 创建scala工程并打指定的依赖包
2017-08-11
hbase自定义Comparator进行数值比较
2016-11-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人