2015年03月_xiaohei.info

12月 10月 09月 08月 07月 06月 05月 04月 03月 02月

原创使用hadoop平台进行小型网站日志分析

0.上传日志文件到linux中，通过flume将文件收集到hdfs中。执行命令/home/cloud/flume/bin/flume-ng agent -n a4 -c conf -f /home/cloud/flume/conf/a4.conf -Dflume.root.logger=DEBUG,console1.建立hive表create external table bb

2015-03-28 00:35:30 1355

原创 flume分布式日志收集系统操作

1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。3.agent里面包含3个核心组件：source、channel、sink。3.1 source组件是专用于收集日志的，可以处理各种类型各种格式的日志数据,包括avro、thrift、exec、jms、spoo

2015-03-27 19:40:23 1017

原创 map-reduce任务的执行流程

(1).客户端提交一个mr的jar包给JobClient(提交方式：hadoop jar ...)(2).JobClient通过RPC和JobTracker进行通信，返回一个存放jar包的地址（HDFS）和jobId(3).client将jar包写入到HDFS当中(path = hdfs上的地址 + jobId)(4).开始提交任务(任务的描述信息，不是jar, 包括jobid，jar

2015-03-26 22:29:21 958

原创 linux设置定制器自动执行任务

基本格式 : *　　*　　*　　*　　*　　command 分　时　日　月　周　命令第1列表示分钟1～59 每分钟用*或者 */1表示第2列表示小时1～23（0表示0点）第3列表示日期1～31 第4列表示月份1～12 第5列标识号星期0～6（0表示星期天）第6列要运行的命令 crontab文件的一些例子： 30 21 * * * /usr/

2015-03-26 22:08:17 1186

原创 pig笔记

1.安装Pig将pig添加到环境变量当中2.pig使用首先将数据库中的数据导入到HDFS上sqoop import --connect jdbc:mysql://192.168.1.10:3306/cloud --username root --password JChubby123 --table trade_detail --target-dir '/sqoo

2015-03-26 22:03:21 586

原创 hbase集群安装和shell操作

1.上传hbase安装包2.解压3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了）注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下让hbase节点知道hdfs的映射关系，也可以在hbase-site.xml中配置3.1修改hbase-env.shexport JAVA_HOME=/

2015-03-24 19:28:06 1265

原创 sqoop操作与使用

sqoop只要安装到集群中的一台节点就可以了1.上传sqoop到节点中2.安装和配置在添加sqoop到环境变量到/etc/profile中将数据库连接驱动拷贝到$SQOOP_HOME/lib里3.使用第一类：数据库中的数据导入到HDFS上sqoop import --connect jdbc:mysql://192.168.1.10:3306/dbTes

2015-03-22 22:27:51 1040

原创 hadoop2.2.0集群安装和配置

hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。注意：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hadoop-2.2.0就需要重新在64操作系统上重新编译集群规划：主机名 IP 安装的软件运行的进程cloud1 19

2015-03-20 15:35:33 1965 2

原创 mapreduce实现搜索引擎简单的倒排索引

使用hadoop版本为2.2.0倒排索引简单的可以理解为全文检索某个词例如：在a.txt 和b.txt两篇文章分别中查找统计hello这个单词出现的次数，出现次数越多，和关键词的吻合度就越高现有a.txt内容如下：hello tomhello jerryhello kittyhello worldhello tomb.txt内容如下：hello jerry

2015-03-19 15:41:09 2376

原创 hadoop2.2.0伪分布式安装

修改主机名和IP的映射关系vi /etc/hosts 192.168.61.44 hadoop关闭防火墙#查看防火墙状态service iptables status#关闭防火墙service iptables stop#查看防火墙开机启动状态chkconfig iptables --list#关闭防火墙开机启动chkconfig iptab

2015-03-12 21:52:23 672