hadoop+Hbase
浮生(FS)
擅长领域Java开发所需各种框架技术,7年以上的商城项目(3C/汽车/服饰/电器)、电商运营平台自动化、后端OMS、WMS实战经验,擅于提供各种业务场景的技术解决方案;具备丰富的团队管理经验和架构能力。
展开
-
hbase安装配置(整合到hadoop) .
[-]快速单击安装下载解压最新版本启动 HBaseHbase Shell 练习停止 HBaseHbase集群安装前注意分布式模式配置配置confhbase-envsh配置confhbase-sitexml配置confregionservers替换hadoop的jar包运行和确认安装当Hbase托管ZooKeeper的时候独立的zookeeper启动测试安装中出现的问转载 2014-04-08 15:12:09 · 7233 阅读 · 0 评论 -
Hadoop集群(第10期)_MySQL关系数据库
1、MySQL安装 MySQL下载地址:http://www.mysql.com/downloads/1.1 Windows平台 1)准备软件 MySQL版本:mysql-5.5.21-win32.msi 2)安装环境: 操作系统:Windows 7旗舰版 3)开始安装 第一步:双击"msi"安装文件,出现如图1.1转载 2015-07-27 12:54:26 · 5575 阅读 · 0 评论 -
Hadoop集群(第8期)_HDFS初探之旅
1、HDFS简介 HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储,为超大数据集(Large Data Set)的应用处理转载 2015-07-27 12:54:07 · 5371 阅读 · 0 评论 -
Hadoop、Spark、HBase与Redis的适用性见解
最近在网上又看到有关于Hadoop适用性的讨论[1]。想想今年大数据技术开始由互联网巨头走向中小互联网和传统行业,估计不少人都在考虑各种“纷繁复杂”的大数据技术的适用性的问题。这儿我就结合我这几年在Hadoop等大数据方向的工作经验,与大家讨论一下Hadoop、Spark、HBase及Redis等几个主流大数据技术的使用场景(首先声明一点,本文中所指的Hadoop,是很“狭义”的Hadoop,即在转载 2015-07-27 09:34:48 · 5537 阅读 · 0 评论 -
Hadoop集群系列(目录)
下面是Hadoop集群系列的目录安排,按照一星期发布一期的原则进行。希望大家的关注。 目录安排: 1)Hadoop集群_第1期_CentOS安装配置_V1.0 2)Hadoop集群_第2期_机器信息分布表_V1.1 3)Hadoop集群_第3期_VSFTP安装配置_V1.0 4)Hadoop集群_第4期_SecureCRT使用_V1.0转载 2015-07-27 12:56:26 · 5396 阅读 · 0 评论 -
Hadoop集群(第7期)_Eclipse开发环境设置
1、Hadoop开发环境简介1.1 Hadoop集群简介 Java版本:jdk-6u31-linux-i586.bin Linux系统:CentOS6.0 Hadoop版本:hadoop-1.0.0.tar.gz1.2 Windows开发简介 Java版本:jdk-6u31-windows-i586.exe Win系统:Window转载 2015-07-27 12:46:11 · 5766 阅读 · 0 评论 -
Hadoop集群(第6期)_WordCount运行详解
1、MapReduce理论简介 1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。简单地说,MapReduce就是"任务的分解与结果的汇总"。 在Hadoop中,用于执行MapReduce任务的机器角色有两个:一个是Job转载 2015-07-27 12:41:33 · 5225 阅读 · 0 评论 -
Hadoop集群(第9期)_MapReduce初级案例
1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。 样例输入如下所示: 1)file1:转载 2015-07-27 11:06:22 · 5509 阅读 · 0 评论 -
hadoop+hbase+zookeeper 分布式集群搭建 + eclipse远程连接hdfs 完美运行
之前有一篇文章已经很详细介绍了如何安装hadoop+hbase+zookeeper 文章标题为:hadoop+hbase+zookeeper 分布式集群搭建完美运行其网址:http://blog.csdn.net/shatelang/article/details/7605939 这篇文章要讲述的是hadoop1.0.0+hbase0.92.1+zookeep转载 2015-06-19 16:48:42 · 6187 阅读 · 0 评论 -
hadoop+hbase+zookeeper 分布式集群搭建完美运行
备注: 搭建完(hadoop+hbase)整个集群是能够完美的运行,其中期间出过些小问题,如有一台机器和其他机器时间相差很远,结果是HRegionServer启动的时候超时,这个时候要么时间同步,或者在配置文件中添加相应的参数 我所在的实验室,整个集群是通过ccproxy代理来连接互联网,然后是远程连接整个集群转载 2015-06-19 16:47:00 · 5311 阅读 · 0 评论 -
hadoop1.2.1+zookeeper-3.4.5+hbase-0.94.1集群安装
一,环境: 1,主机规划: 集群中包括3个节点:hadoop01为Master,其余为Salve,节点之间局域网连接,可以相互ping通。 机器名称 IP地址 hadoop01 192.168.1.31 hadoop02 192.168.1.32转载 2015-05-20 10:05:24 · 5595 阅读 · 0 评论 -
hadoop 学习笔记
hadoop伪分布环境搭建: 1.准备工作 这里我使用的是Win7系统32位,VM10虚拟机Linux是6.4版本,hadoop是1.0 jdk是1.6 1.1 将hadoop-1.0.4.gz和jdk通过WinSCP传到Linux系统的/uer/local/目录下 1.2 解压jdk,执行 ./jdk 1.3 配置jdk环境变量,执行 vi /etc/profile原创 2014-04-10 17:22:29 · 6822 阅读 · 0 评论 -
linux常用操作
打开目录 cd /XX/XX显示当前目录路径 pwd查看目录下内容 ls //ls -a 可以查看到缓存文件例如:.a.swp打开文件 more 文件名编辑文件 vi 文件名 //按a、i是编辑,结束按esc然后按shift+:输入命令wq是保存q是不保存退出删除文件 rm 文件名删除某个目录下所有 rm -rf /*//清楚当前目录所有文件,并且不提示查看所有原创 2014-05-11 10:41:35 · 6615 阅读 · 0 评论 -
Hadoop安装配置
1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 对于Hadoop的集群来讲,可转载 2014-04-10 14:32:28 · 6937 阅读 · 0 评论 -
ssh的安装
常用命令:ubuntu重启网卡 sudo /etc/init.d/networking restart重启SSH服务: sudo /etc/init.d/ssh restart临时获得root sudo -i 指定文件夹下所有文件或文件夹为所有用户都能访问 sudo chmod -R 777 XXX安装ssh-serversudo ap原创 2015-03-22 12:26:57 · 5055 阅读 · 0 评论