hadoop
yunshouhu
爱Java,更爱Android,学VC,搞c/c++的我。专注移动安全,游戏安全,逆向安全!十年戎马成神路,君临天下风雷动! https://github.com/yunshouhu
展开
-
hadoop命令使用
启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。执行sh bin/stop-all.sh 1、查看指定目录下内容hadoop dfs –ls [文件目录]eg: hadoop dfs –ls /user/wangkai.pt2、打开某个已存在文件ha转载 2013-12-15 15:37:31 · 1070 阅读 · 0 评论 -
hadoop命令源码之cat实现
package cn.yws;import java.io.IOException;import java.io.InputStream;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Fi原创 2014-07-03 10:23:38 · 2285 阅读 · 0 评论 -
hadoop命令源码之ls实现
package cn.yws;import java.io.FileNotFoundException;import java.io.IOException;import java.text.SimpleDateFormat;import java.util.Date;import org.apache.hadoop.conf.Configuration;import org.ap原创 2014-07-03 10:25:00 · 957 阅读 · 0 评论 -
hadoop命令源码之text实现
package cn.yws;import java.io.IOException;import java.io.InputStream;import java.util.ArrayList;import java.util.List;import java.util.zip.GZIPInputStream;import org.apache.hadoop.conf.Configu原创 2014-07-03 10:25:40 · 1342 阅读 · 0 评论 -
hadoop 在eclipse中输出日志
import java.io.File;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Pat原创 2014-07-04 11:19:50 · 2770 阅读 · 0 评论 -
Cloudera Manager安装部署手册
1. 安装前的准备 准备好Ubuntu离线source,配置/etc/apt/source.list 准备好Cloudera Hadoop离线source,配置/etc/apt/source.list.d/cloudera.list 同步集群的/etc/hosts ssh免密码登录,cloudera-scm-server所在机器能够免密码登录其他cloudera-scm转载 2014-07-21 16:46:05 · 3501 阅读 · 0 评论 -
Cloudera Manager 和 CDH 4 终极安装
系统环境 操作系统:CentOS 6.5 Cloudera Manager 版本:4.8.1 CDH版本:4.5.0各机器准备工作: yum -y groupinstall "Development tools" yum -y install wget Cloudera-manager压缩包地址: http://archiv转载 2014-07-28 11:48:05 · 11332 阅读 · 0 评论 -
hadoop编译
1、Hadoop1.2.1源码编译eclipse插件:原创 2014-08-08 14:06:50 · 745 阅读 · 0 评论 -
Hadoop mapreduce
1、package com.jiepu.mr;import java.io.IOException;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoo原创 2014-08-18 16:37:06 · 872 阅读 · 0 评论 -
hbase集群安装
HBase是Hadoop数据库,能够实现随机、实时读写你的Big Data,它是Google的Bigtable的开源实现,可以参考Bigtable的论文Bigtable: A Distributed Storage System for Structured。HBase的存储模型可以如下三个词来概括:distributed, versioned, column-oriented。HBase并非只能转载 2014-08-18 16:54:19 · 1059 阅读 · 0 评论 -
JSP访问Hadoop 图片存储服务
使用Hadoop的hdfs来存放图片文件.以下是整个架构思路:使用hadoop作为分布式文件系统,hadoop是一个实现了HDFS文件系统和MapReduce的开源项目,我们这里只是使用了它的hdfs.首先从web页面上上传的文件直接调用hadoop接口将图片文件存入hadoop系统中,hadoop可以设定备份数,这样在hadoop系统中某个datanode死掉并不会造成图片不可能,系统会转载 2014-05-28 09:27:15 · 736 阅读 · 0 评论 -
hadoop的配置和启动
在centOS测试成功!1、设置静态IP设置完成后重启网卡service network restart一定要设置验证:ifconfig2、修改主机名:hostname hadoopgedit /etc/sysconfig/network改成hadoop验证:重启机器3、绑定hostname和ipgedit /etc/hosts增加 192.原创 2013-12-15 00:23:50 · 4062 阅读 · 0 评论 -
Hadoop学习笔记之操作hive
package hive;import java.sql.*;import java.sql.Date;import java.text.SimpleDateFormat;import java.util.*;public class HiveService { private static final String URLHIVE = "jdbc:hive://192.168.1原创 2014-06-06 17:28:56 · 1209 阅读 · 0 评论 -
hadoop 学习笔记之倒排索引
package cn.yws;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.Text;import原创 2014-06-02 17:33:12 · 2055 阅读 · 2 评论 -
hadoop学习笔记之数据排序
package cn.yws;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;原创 2014-06-04 18:06:23 · 1048 阅读 · 0 评论 -
hadoop学习笔记之grep
import java.util.Random;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.ap原创 2014-06-05 10:51:05 · 2757 阅读 · 0 评论 -
MongoDB命令行操作
例子:->use Admin (切换到创建用户)->db.TestDb (创建数据库) ->db.addUser(“userName”,”Pwd”) 创建用户->db.auth(“userName”,”Pwd”) 设置用户为允许连接的用户->db.createCollection(“TableName”)转载 2014-06-05 16:17:35 · 963 阅读 · 0 评论 -
hadoop学习笔记之操作mysql数据库
import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import java.io.UnsupportedEncodingException;import java.sql.PreparedStatement;import java.sql.ResultSet;import java.原创 2014-06-05 12:06:46 · 962 阅读 · 0 评论 -
hadoop学习笔记之wordcount
package cn.yws;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;原创 2014-06-02 16:12:09 · 913 阅读 · 0 评论 -
hadoop学习笔记之操作hbase
import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop原创 2014-06-06 16:52:02 · 1025 阅读 · 0 评论 -
hadoop单机模式配置
hadoop单机模式配置一、SSH(secure shell)的免密码登陆a、执行命令,产生秘钥 ssh-keygen -t rsa产生的秘钥位于 ~/.ssh文件夹中 用户目录下cd ~ cd .sshssh-keygen -t rsab、cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keyubuntu可能要手动开启ssh服原创 2014-05-28 11:15:34 · 5990 阅读 · 0 评论 -
hadoop学习笔记之mapreduce中使用hbase
import java.io.IOException;import java.util.ArrayList;import java.util.List;import java.util.Random;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org原创 2014-06-06 17:25:21 · 718 阅读 · 0 评论 -
elk+redis 搭建日志分析平台
Elk分别为 elasticsearch,logstash, kibana官网为:https://www.elastic.co/productsElasticsearch:https://www.elastic.co/downloads/elasticsearchhttps://download.elastic.co/elasticsearch/elasticsearch/elas原创 2015-10-19 16:26:42 · 6546 阅读 · 0 评论