- 博客(48)
- 收藏
- 关注
RSS订阅转载 flume线上配置
hdfs_agent.sources = r1hdfs_agent.sinks = k1hdfs_agent.channels = c1# Describe/configure...
2018-08-02 16:25:41
131
转载 kafka 0.11查看offset命令
kafka-consumer-offset-checker.sh --zookeeper 10.69.43.32:2181 --group test_topology_realtime_gketl_es_001 --topic ...
2018-02-09 16:13:22
819
转载 netstat
netstat -anplt | grep -i esta| grep '10.0.15.16:8085'查看有哪些IP连接到10.0.15.16 这台机器的8085端口 ...
2016-11-10 08:10:36
116
转载 借助keepalived + nginx双机热备加固flume线路
原来的状况： 两台flume ,10.0.15.70,10.0.15.71。在这两台flume机器上，分别会启2个mina的server端，监听客户端发送到8080,8081端口的数据，flume收集数据写入到kafka及hdf...
2016-10-28 16:14:38
133
转载 netcat 常用的几个命令，可用于创建TCP/UDP连接
Netcat 或者叫 nc 是 Linux 下的一个用于调试和检查网络工具包。可用于创建 TCP/IP 连接，最大的用途就是用来处理 TCP/UDP 套接字。 这...
2016-10-25 14:35:30
1126
转载 eclipse 安装python后pydev不出现
参考下面的链接：http://blog.csdn.net/wwd0501/article/details/52130827还可能出现unknow host，可以修改eclipse 的proxy设置,参考：http...
2016-10-11 15:22:03
92
转载 hive dynamic partition的使用
参考链接：http://www.cnblogs.com/xd502djj/archive/2013/12/11/3470074.html语句参考：set hive.exec.dynamic.partition=t...
2016-09-29 11:16:51
514
转载 hive 中使用avro
参考链接： http://my.oschina.net/weiqingbin/blog/194411创建hive 表时对avro使用snappy压缩： 点击(此处)折叠或打开 ...
2016-08-19 16:46:56
521
转载 Hadoop 中处理小文件的方式， Avro应用
参考链接：http://blog.csdn.net/mike_h/article/details/50098149http://blog.csdn.net/mike_h/article/details/50097713...
2016-08-10 15:44:06
76
转载 hdfs 压缩
参考链接：http://blog.csdn.net/lastsweetop/article/details/9173061 ...
2016-08-10 15:21:23
120
转载 maven assembly plugin,maven dependency plugin的使用
maven assembly plugin: 将第三方jar包和应用集成打成一个jar包，打包时使用mvn clean, mvn assembly:assembly, jar文件会比较冗余盘大maven dependen...
2016-07-14 16:30:28
234
转载 java CountDownLatch 详解
CountDownLatch的一个非常典型的应用场景是：有一个任务想要往下执行，但必须要等到其他的任务执行完毕后才可以继续往下执行。假如我们这个想要继续往下执行的任务调用一个CountDownLatch对象的await(...
2016-07-13 16:53:09
71
转载 log4j配置文件示例
### set log levels ###log4j.rootLogger = INFO,D,D1### \u8F93\u51FA\u5230\u63A7\u5236\u53F0 ###log4j.append...
2016-07-11 17:45:07
98
转载 ulimit操作及使用
参考链接：http://www.cnblogs.com/wangkangluo1/archive/2012/06/06/2537677.html ...
2016-06-30 11:16:08
62
转载 ElasticSearch 2.3.3 java API操作二
点击(此处)折叠或打开 import org.elasticsearch.action.search.SearchResponse; ...
2016-06-24 17:11:38
174
转载 ElasticSearch java api
参考：https://www.elastic.co/guide/en/elasticsearch/client/java-api/current/index.html ...
2016-06-24 09:03:07
63
转载 ES常用参数详解
来自：http://www.searchtech.pro/articles/2013/02/18/1361194291548.html elasticsearch的config文件夹里面...
2016-06-20 21:45:52
2434
转载 time bash
ime命令 用于 打印出一条命令或一个程序的执行时间time 命令以秒为单位将一条命令执行期间所用的时间、系统时间和 time 命令的执行时间打印在标准错误中。 用法：time [ -p ] Command [ Ar...
2016-06-20 10:19:15
260
转载 ElasticSearch 2.3.3 集群安装+ Marvel + kibana
1 . ElasticSearch 2.3.3 集群安装 注意：重点先从使用入手，使用起来后我们再说理论 本文基于elasticsearch最新版搭建的 ...
2016-06-15 18:07:39
178
转载 ES插件常见问题
ES安装版本2.3.3， 直接使用${ES_HOME}/bin/plugin install mobz/elasticsearch-head 安装不上，总是报如下异常：Trying https://github.com/...
2016-06-13 17:52:19
222
转载 hadoop hdfs 命令使用
参考链接：http://lxw1234.com/archives/2015/08/452.htm 在HDFS中，提供了fsck命令，用于检查HDFS上文件和目录的健康状态、获取文件的block信息和位置信息等...
2016-06-12 16:55:24
54
转载 ElasticSearch 安装root用户启动失败问题解决
1. 下载ElasticSearch 2.3.32. 安装JDK 1.8.0以上版本3. ElasticSearch 安装时会出现 Exception in thread "main" java.lang.R...
2016-06-12 15:58:29
693
转载 Es集群搭建，及常用插件
参考链接：http://www.dengchuanhua.com/212.htmlhttp://my.oschina.net/xiaohui249/blog/228748https://www.elastic.co/...
2016-06-07 11:31:46
77
转载 ElasticSearch CURD Sense 及常用操作
http://10.0.15.221:9200/_cat/segments/ecc?v&h=shard,segment,size,size.memoryhttp://10.0.15.221:9200/_cat/n...
2016-06-02 11:34:54
56
转载 hadoop 集群重启是出现Journalnode节点目录无法格式化问题
参考链接：http://blog.csdn.net/knowledgeaaa/article/details/23759099 ...
2016-06-02 11:14:54
2668
转载 storm 问题日志记录
5个worker1. Nimbus机器： work的内存设置太小，导致excutor无法启动2016-05-18T11:20:51.300+0800 b.s.d.nimbus [INFO] Executor wcd...
2016-05-31 16:30:37
364
转载 avro处理hadoop上的小文件
参考链接：http://sishuok.com/forum/blogPost/list/6921.html ...
2016-05-31 16:28:17
56
转载 shell 操作mysql数据库
参考链接：http://blog.chinaunix.net/uid-23062171-id-5728835.html ...
2016-05-31 16:26:28
46
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人