- 博客(133)
- 收藏
- 关注
RSS订阅转载 Resolving archive.cloudera.com... failed: Temporary failure in name
一.错误[root@hadoop002 ~]# wget -c http://archive.cloudera...
2019-07-23 17:18:17
1050
转载 记录2018年底最后1次HBase故障维护
1.背景我司某套HBase阿里云生产环境，主要是为了pinpoint服务。业务抛错: Can't get the location当我拿到同事求助的机器...
2019-02-12 16:20:40
256
转载 Batch containing 11 record(s) expired due to timeout while requesting metadata
背景：Kafka集群在一个192.168.0.x网段的，而我们的生产者在192.168.17.x网段的一台机器上，故当生产者发送消息给Kafka时，无法将消息发送过去。错误：11:21:13,936 ERRO...
2018-04-08 13:49:35
752
转载 【记录】:CentOS清理swap和buffer/cache
swap清理：swapoff -a && swapon -a注意：这样清理有个前提条件，空闲的内存必须比已经使用的swap空间大cache清理：sync; sync; sync;&...
2017-11-28 09:37:13
158
转载 java.io.IOException: Connection reset by peer
一.场景: spark通过phoenix 读取hbase表，其实说白了先要去Zookeeper建立connection。二.代码: 点击(此处)折叠或打开 ...
2017-10-24 12:08:37
1569
转载 Kubernetes node的防火墙问题导致pod ip无法访问
环境:1.在hadoop36机器，ping hadoop38机器的pod的ip，为172.30.1.42.该pod的service的external-ip的ip为hadoop36的ip3.下面机器的ip，已经使用x...
2017-07-06 14:01:23
2354
转载 Maven-3.3.9 Install and Oozie-4.3.0 Compile
1.Java版本1.8[root@sht-sgmhadoopdn-04 app]# java -versionjava version "1.8.0_66"Java(TM) SE Runtime Environmen...
2017-04-25 17:56:37
132
转载 Azkaban Install and Schedule Job
1.git clone and buid [root@sht-sgmhadoopdn-04 app]# git clone https://github.com/azkaban/azkaban.git [root@sht...
2017-04-21 16:36:19
88
转载 记录CDH安装的一个坑:could not contact scm server at localhost:7182, giving up
错误: 在web界面安装 agent那一步，抛错，单击信息查看如下 初步分析： 是用localhost:7182 无法连接scm server 尝试解决办法: 1.检查...
2017-04-19 18:47:50
618
转载 25【在线日志分析】之基于Flume-ng Exec Source开发自定义插件ExecSource_JSON
1.将博客中 http://blog.itpub.net/30089851/viewspace-2131995/的AdvancedExecSource.java 文件重命名为ExecSource_STRING.java...
2017-03-31 23:22:36
90
转载 24【在线日志分析】之Tomcat的支持log4j,日志输出为json格式
1.下载apache-tomcat-7.0.42及解压[root@sht-sgmhadoopnn-01 app]# pwd/root/learnproject/app[root@sht-sgmhadoopnn-...
2017-03-31 21:46:20
225
转载 23【在线日志分析】之改造CDH的HDFS的NN,DN进程，日志输出为json格式
1.登录nn机器,进入最新序号的namenode配置文件夹,查看当前的nn的log4j配置 [root@sht-sgmhadoopnn-01 ~]# cd /var/run/cloudera-scm-agent/pro...
2017-03-31 21:23:27
165
转载 22【在线日志分析】之项目第二阶段概述
主要对HDFS服务和Tomcat服务进行实时计算预警，故要做以下加强功能:1. 改造 CDH/Apache hadoop的hdfs的nn,dn进程的日志输出格式,每一条改为json格式输出 (之前每一条为 string)...
2017-03-31 17:37:45
78
转载 记录自定义kafka的parcel库,CDH安装kafka服务,无法安装过去的排雷过程
1.版本 CDH5.9.1 安装KAFKA-2.0.2-1.2.0.2.p0.5-el6 https://archive.cloudera.com/kafka/parcels/2.0/失败 CDH...
2017-03-30 20:05:00
477
转载 记录CDH5.10一个clients.NetworkClient: Bootstrap broker ip:9092 disconnected问题
1.当前环境使用的稳定版本组合a.本套环境CDH经过四次升级，当然版本为CDH-5.10.0-1.cdh5.10.0.p0.41b.KAFKA版本为KAFKA-2.1.0-1.2.1.0.p0.115c.SPA...
2017-03-10 22:10:38
3288
转载 记录CDH Spark2的spark2-submit的一个No such file or directory问题
运行: 在测试的CDH Spark2, 运行spark streaming， 命令如下： 点击(此处)折叠或打开 spark2-submit ...
2017-03-02 22:48:33
867
转载 21【在线日志分析】之记录一个flume-ng的tail -f参数所诱发的血案
一.现象： flume收集-->flume聚合-->kafka-->spark streaming+spark sql-->influxdb-->grafana1.所有...
2017-02-21 18:47:28
308
转载 20【在线日志分析】之记录一次Spark Streaming+Spark SQL的数据倾斜
1.现象 三台机器都有产生executor，每台都会产生tasks，但是其中只有一台的task有input数据，其他机器的tasks都没有数据。 2.猜想 2.1是不是数据倾斜? 是...
2017-02-19 23:15:23
197
转载 19【在线日志分析】之sparkdemo.jar运行在yarn上过程
1.将之前打包的jar包上传 [root@sht-sgmhadoopnn-01 spark]# pwd/root/learnproject/app/spark[root@sht-sgmhadoopnn-01 ...
2017-02-19 22:54:57
133
转载 18【在线日志分析】之Spark on Yarn配置日志Web UI(HistoryServer服务)
1.进入spark目录和配置文件 [root@sht-sgmhadoopnn-01 ~]# cd /root/learnproject/app/spark/conf [root@sht-sgmhadoopnn-01...
2017-02-19 21:30:02
204
转载 17【在线日志分析】之使用IDEA将工程Build成jar包
1.File-->Project Structure 2.Artifacts-->+-->JAR-->From modules with dependencies 3. 单击....
2017-02-19 20:54:13
61
转载 16【在线日志分析】之grafana-4.1.1 Install和新建日志分析的DashBoard
1.下载wget https://grafanarel.s3.amazonaws.com/builds/grafana-4.1.1-1484211277.linux-x64.tar.gz2.解压tar -z...
2017-02-09 22:39:01
105
转载 15【在线日志分析】之基于Spark Streaming+Saprk SQL开发OnLineLogAanlysis2（Final）
1.influxdb创建database[root@sht-sgmhadoopdn-04 app]# influx -precision rfc3339Connected to http://localhost:8086...
2017-02-09 22:15:20
100
转载 14【在线日志分析】之influxdb-1.2.0 Install和概念，语法等学习
1.下载rpmhttps://dl.influxdata.com/influxdb/releases/influxdb-1.2.0.x86_64.rpm我选择用window7 浏览器下载，然后rz上传到linux机器上...
2017-02-09 20:31:56
101
转载 记录一次帮网友解决CDH集群机器的时钟偏差
1.现象： home界面和主机界面的图表和各组件状态标识符都是灰色（正常是绿色） 2.尝试方法：2.0 检查防火墙，python有无升级，是否ping通 2.1 尝试web重启 cloude...
2017-02-09 19:51:22
393
转载 13【在线日志分析】之舍弃Redis+echarts3,选择InfluxDB+Grafana
1.最初选择Redis作为存储，是主要有4个原因:a.redis是一个key-value的存储系统，数据是存储在内存中，读写性能很高；b.支持多种数据类型，如set,zset,list,hash,string；...
2017-02-09 18:18:33
502
转载 Window7 python2.7 抛错ImportError No module named mysql.connector
错误:ImportError No module named mysql.connector 1.下载mysql-connector-python-2.2.2.zip 解压 如 C:\Users\jp...
2017-01-17 17:43:18
75
转载 12【在线日志分析】之RedisLive监控工具的详细安装
GitHub: https://github.com/nkrode/RedisLive 1.安装python2.7.5 和piphttp://blog.itpub.net/30089851/view...
2017-01-15 14:53:02
105
转载 Centos6.5安装python2.7.5+pip
1.下载包 $ wget https://python.org/ftp/python/2.7.5/Python-2.7.5.tar.bz2--no-check-certificate2.到下...
2017-01-15 13:02:56
121
转载 11【在线日志分析】之redis-3.2.5 install(单节点)
1.安装jdk1.8[root@sht-sgmhadoopdn-04 ~]# cd /usr/java/[root@sht-sgmhadoopdn-04 java]# wget --no-check-certifi...
2017-01-15 10:37:37
41
转载 10【在线日志分析】之基于Spark Streaming开发OnLineLogAanlysis1
1.GitHubhttps://github.com/Hackeruncle/OnlineLogAnalysis/blob/master/online_log_analysis/src/main/java/com/learn...
2017-01-14 17:26:47
80
转载 09【在线日志分析】之基于Spark Streaming Direct方式的WordCount最详细案例(java版)
1.前提 a. flume 收集--》flume 聚合--》kafka ，启动进程和启动kafka manager监控 08【在线日志分析】之Flume Agent(聚合节点) sink to kafka clu...
2017-01-14 16:53:41
73
转载 记录在shell脚本中使用sudo echo x > 时,抛Permission denied错误
1.场景在一个非root且带有sudo权限的用户，使用shell脚本(单独手工执行命令不会抛错，是成功的)：会抛错 点击(此处)折叠或打开 #!/bi...
2017-01-12 13:01:35
259
转载 08【在线日志分析】之Flume Agent(聚合节点) sink to kafka cluster
1.创建logtopic[root@sht-sgmhadoopdn-01 kafka]# bin/kafka-topics.sh --create --zookeeper 172.16.101.58:2181,172....
2017-01-07 23:04:32
87
转载 07【在线日志分析】之kafka-manager监控工具的搭建（sbt安装与编译）
1.下载sbthttp://www.scala-sbt.org/download.html [root@sht-sgmhadoopnn-01 app]# rzrz waiting to receive...
2017-01-07 17:12:37
112
转载 06【在线日志分析】之KafkaOffsetMonitor监控工具的搭建
1.下载#在window7 手工下载好下面的链接https://github.com/quantifind/KafkaOffsetMonitor/releases/tag/v0.2.1 [root@s...
2017-01-07 16:04:01
92
转载 05【在线日志分析】之Kafka 0.10.1.0 Cluster的搭建和Topic简单操作实验
【kafka cluster机器】:机器名称用户名称sht-sgmhadoopdn-01/02/03root 【安装目录】: /root/learnproject/app 1.将s...
2017-01-07 15:31:59
70
转载 04【在线日志分析】之Flume Agent的3台收集+1台聚合到hdfs的搭建
【log收集】:机器名称 服务名称 用户flume-agent-01: namenode hdfsflume-agent-02: datanode hdfsflume-age...
2017-01-07 12:06:23
122
转载 00【在线日志分析】之项目概述和GitHub项目地址
1.前期基本架构图2.最终基本架构图 3.版本Flume: 1.7 Hadoop: 2.7.3Scala: 2.11Kafka: 0.10.1.0 Sp...
2017-01-07 00:13:15
106
转载 03【在线日志分析】之hadoop-2.7.3编译和搭建集群环境(HDFS HA,Yarn HA)
环境:CentOS6.5 1.下载hadoop2.7.3最新源码[root@sht-sgmhadoopnn-01 ~]# mkdir -p learnproject/compilesoft[roo...
2017-01-07 00:12:19
135
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人