Big Data
FrankJingle
这个作者很懒,什么都没留下…
展开
-
【Hadoop系列】第二章:安装Hadoop(下)集群版Hadoop
第二章:安装Hadoop(下)集群版Hadoop 一、环境配置 本地环境:window7 x64 青云服务器: 由于我自己没有这么多服务器,虚拟机更带不动这么多个,所以最后使用青云服务器,开通了四台服务器,整个使用流程还是很简单的,可以配置公网ip,给其中一台服务器连上公网。一天大概几块钱的样子,不用的时候关掉服务器和ip可以省些钱。 名称原创 2015-07-15 11:59:14 · 559 阅读 · 0 评论 -
【hadoop】hadoop学习笔记-shell命令
参考自官方文档 http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html FS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件原创 2016-09-29 13:45:43 · 293 阅读 · 0 评论 -
hadoop进入和退出安全模式
进入和退出安全模式 [root@localhost bin]# ./hdfs dfsadmin -safemode enter 15/08/03 07:26:24 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes wher原创 2015-10-09 21:31:02 · 11442 阅读 · 0 评论 -
【Hadoop系列第八章】Flume 和 sqoop(上)之 Flume
来自 小象科技 董西成 Part 1 概念介绍 Part 2 安装部署 解压 # tar zxvf flume-ng-1.5.0-cdh5.4.4.tar.gz 进入文件夹 # cd apache-flume-1.5.0-cdh5.4.4-bin 复制配置文件 # cp conf/flume-env.sh.template conf/原创 2015-08-12 21:28:00 · 677 阅读 · 0 评论 -
【Hadoop系列第十章】(二)数据分析系统Pig
pig原创 2015-08-12 22:13:10 · 300 阅读 · 0 评论 -
【Hadoop系列第九章】(一)理论:HBase应用场景、原理与基本架构
暂留原创 2015-08-12 21:42:32 · 346 阅读 · 0 评论 -
【Hadoop系列第九章】(二)实践:HBase部署及应用
安装: 解压 tar zxvf hbase-1.0.0-cdh5.4.4.tar.gz 进入文件夹 编辑 conf/hbase-site.xml 去配置hbase.rootdir,来选择Hbase将数据写到哪个目录 . hbase.rootdir file:///home/frank/hbase 启动Hbase: [roo原创 2015-08-12 21:51:16 · 360 阅读 · 0 评论 -
【Hadoop系列第八章】Flume 和 sqoop(下)之 sqoop
来着 小象科技 董西成 Part 1 概念理论原创 2015-08-12 21:39:21 · 601 阅读 · 0 评论 -
【Hadoop系列】第一章:Hadoop生态系统概述以及版本演化
课件来自:小象科技 Hadoop1.0与2.0架构的不同原创 2015-07-11 16:58:03 · 1194 阅读 · 0 评论 -
【Hadoop系列第四章】YARN应用场景、原理和资源调度
PPT来自 小象科技,讲师:董西成原创 2015-07-18 09:20:31 · 706 阅读 · 0 评论 -
【Hadoop系列】第二章:安装Hadoop(上)单机版Hadoop
Hadoop单机版安装过程 一、搭建环境 虚拟机:VMware WorkStation 9 操作系统:CentOS 6.6_64位 IP:192.168.140.130 二、搭建过程 1.创建新用户 我们不使用root用户来安装Hadoop,推荐新建一个用户。 [root@localhost ~]# useradd frank [root@localhost ~]# pas原创 2015-07-11 22:46:52 · 642 阅读 · 0 评论 -
【Hadoop系列第五章】MapReduce2.0应用场景、原理与基本架构
来自小象科技 讲师:董西成原创 2015-07-18 09:33:24 · 465 阅读 · 0 评论 -
Redis(一)
Redis使用 参考 :http://www.jb51.net/article/56448.htm 一、介绍 redis是一个开源的、使用C语言编写的、支持网络交互的、可基于内存也可持久化的Key-Value数据库。 二、.安装 下载地址:http://redis.io/download 在Linux中可以使用 $ wget http://downlo原创 2015-07-16 10:49:22 · 813 阅读 · 0 评论 -
【Hadoop系列第六章】HBase应用场景、原理与基本架构
来自小象科技 讲师董西成原创 2015-07-18 10:45:25 · 1088 阅读 · 0 评论 -
【Hadoop系列第五章】MapReduce2.0编程实践(下)实践
MapReduce2.0编程实践(下)实践 一、运行实例 假设hdfs文件系统中什么都没有,这里我先清空以前的东西。 注意不能使用 [frank@localhost bin]$ ./hdfs dfs -rm -r -f /home/*来清空hdfs系统中/home目录下全部内容,因为shell会将/home/*解读为本地/home/目录下全部文件和文件夹,但是在hdfs原创 2015-07-18 10:29:26 · 847 阅读 · 1 评论 -
【Hadoop系列第五章】MapReduce2.0编程实践(上)理论
来自小象科技 讲师:董西成原创 2015-07-18 10:01:57 · 483 阅读 · 0 评论 -
【Hadoop系列第三章】Hadoop文件分布式管理命令
Hadoop文件分布式管理命令 强烈推荐直接看官网 这里我试验几个命令,基本都跟linux shell用法差不多。 进入bin目录(或者将bin目录添加进环境变量,参考java环境变量的配置) [frank@localhost hadoop-2.6.0-cdh5.4.4]$ cd bin mkdir命令 [frank@localhost bin]$ ./hdfs dfs -m原创 2015-07-16 11:21:06 · 600 阅读 · 0 评论 -
【hadoop】hadoop学习笔记-回收站
Hadoop回收站trash,默认是关闭的。 习惯了window的同学,建议最好还是把它提前开开,否则误操作的时候,就欲哭无泪了 1. 修改conf/core-site.xml增加 <property> <name>fs.trash.interval</name> <value>1440</value> <description>Number of minutes bet原创 2016-09-29 13:58:26 · 278 阅读 · 0 评论