- 博客(6)
- 收藏
- 关注
RSS订阅原创 Flume中的HDFS Sink配置参数说明
Flume中的HDFS Sink应该是非常常用的，其中的配置参数也比较多，在这里记录备忘一下。typehdfspath写入hdfs的路径，需要包含文件系统标识，比如：hdfs://namenode/flume/webdata/可以使用flume提供的日期及%{host}表达式。filePrefix默认值：FlumeData写入hdfs的文件名前缀，可以使用flume提供的日期及%{host...
2018-04-26 16:33:55
340
原创 Flume数据采集常用案例
flume的案例 1)案例1：Avro Avro可以发送一个给定的文件给Flume，Avro 源使用AVRO RPC机制。 a)创建agent配置文件?1234567891011121314151617181920212223root@m1:/home/hadoop#vi /home/hadoop/flume-1.5.0-bin/conf/avro.conf a1.sour...
2018-04-26 15:59:53
1808
原创 Ambari安装----Confirm Hosts Registering with the server failed解决办法
安装Ambari到Confirm Hosts这步过不去了！点击红色“Failed”，查看详细错误：[html] view plain copy========================== Creating target directory... ========================== Command start time 2016-11-09 16:24:42 ...
2018-04-18 17:04:06
8685
1
原创 CentOS6、7 局域网离线安装Ambari
（自己安装多遍，踩过各种坑，终于趟顺了，下面绝对完整版）（安装6、7的步骤一样，只是相关执行命令6、7会有差别）1.1 Ambari Ambari的作用来说，就是创建、管理、监视 Hadoop的集群。Ambari自身也是一个分布式架构的软件，主要由两部分组成：Ambari Server和 Ambari Agent。简单来说，用户通过Ambari Server通知 Ambari Agen...
2018-04-18 15:50:28
2286
原创 常用的正则表达式
一、校验数字的表达式数字：^[0-9]*$n位的数字：^\d{n}$至少n位的数字：^\d{n,}$m-n位的数字：^\d{m,n}$零和非零开头的数字：^(0|[1-9][0-9]*)$非零开头的最多带两位小数的数字：^([1-9][0-9]*)+(\.[0-9]{1,2})?$带1-2位小数的正数或负数：^(\-)?\d+(\.\d{1,2})$正数、负数、和小数：^(\-|\+)?\d+(\...
2018-04-04 09:55:27
261
原创 Windows下Python3安装Scrapy
安装前提：Window已经安装好了Python3，我电脑里安装的是Python3.6，将python_home和python目录下的Scripts配置到环境变量中，安装好pip。1、安装pywin32pip install pywin322、安装lxmlpip install lxml (我的python暗黄目录lib下面已经有了，提示不用安装)3、安装Twisted去http://www.lfd...
2018-04-03 11:35:46
201
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人