2018年01月_YancyChang

12月 11月 10月 06月 05月 04月 01月

转载 Flume安装及简单部署

1 Flume简介Flume是Cloudera提供的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方用于收集数据，同时Flume提供对数据的简单处理，并将数据处理结果写入各种数据接收方的能力。Flume作为Cloudera开发的实时日志收集系统，受到了业界的认可与广泛应用。2010年11月Cloudera开源了Flume的第一

2018-01-26 18:27:40 288

原创 Sqoop常用参数及其使用

Sqoop的使用1、上传并解压2、修改sqoop/conf/sqoop=env.sh分别输入hadoop，hadoop，hive，zookeeperconf的目录3、导入jdbc的jar包4、进入到sqoop/bin目录下5、从mysql到导入(1) mysql上传到hdfs(2) 导入到hive中注：如需指定h

2018-01-26 13:29:35 1009

转载 MapReduce计数器

1、MapReduce计数器是什么？计数器是用来记录job的执行进度和状态的。它的作用可以理解为日志。我们可以在程序的某个位置插入计数器，记录数据或者进度的变化情况。2、MapReduce计数器能做什么？ MapReduce 计数器（Counter）为我们提供一个窗口，用于观察 MapReduce Job 运行期的各种细节数据。对MapReduce性能调优很有帮助，M

2018-01-13 11:00:26 1224

转载 java对HDFS中文件的操作——FileSystem

1 概述：1 1 Hadoop 提供一类api可以通过java工程操作hdfs中的文件，包括：文件打开，读写，删除等、目录的创建，删除，读取目录中所有文件等。2 2 需要处理hadoop的文件程序需要引入下面jar包，可以hadoop-1.2.1\lib找到。 hadoop-core和common-log，commons-conf...

2018-01-11 11:36:28 3105

转载解决IDEA自动重置LanguageLevel和JavaCompiler版本的问题

使用IDEA时，导入的Maven项目默认的LanguageLevel和JavaCompiler都是1.5，1.5的情况下连最简单的@Override注解都不支持，所以项目可能出现一堆错。虽然在项目上F4可以修改LanguageLevel，在settings中可以修改JavaCompiler版本，但是一旦Maven项目有变化，发生自动的update时，这里做的修改就都白费了。IDEA会重置这

2018-01-05 13:48:15 1836 2