大数据
人在^O^旅途
越努力越幸运!
展开
-
Windows 下配置 Eclipse 连接 Hadoop 开发环境
个人小站,正在持续整理中,欢迎访问:http://shitouer.cn小站博文地址:Windows 下配置 Eclipse 连接 Hadoop 开发环境,欢迎原站访问~ 学习更多,请访问系列文章:1. VMware Redhat网络配置2. Hadoop 三台主机 集群搭建 详解3. Windows 下配置 Eclipse 连接 Hadoop 开发环境 学习本篇转载 2017-11-18 20:09:44 · 2332 阅读 · 0 评论 -
Sqoop1.4.6快速入门总结
1 Sqoop概述传统的应用程序管理系统,即应用程序与使用RDBMS的关系数据库的交互,是产生大数据的来源之一。由RDBMS生成的这种大数据存储在关系数据库结构中的关系数据库服务器中。当大数据存储和Hadoop生态系统的MapReduce,Hive,HBase,Cassandra,Pig等分析器出现时,他们需要一种工具来与关系数据库服务器进行交互,以导入和导出驻留在其中的大数据。在这里,S...原创 2019-09-04 16:13:22 · 2276 阅读 · 0 评论 -
SQurriel配置和客户端无法连接Phoenix问题
问题描述:环境:ESC中搭建的ambari大数据管理平台,添加Hbase服务时勾选Phoenix支持,Phoenix本版4.7。step1: 添加phoenix服务器安装目录下的phoenix-[version]-client.jar到squirrel-sql安装目录lib/下step2: 添加驱动,填写驱动类名:org.apache.phoenix.jdbc.PhoenixDrivers...原创 2019-09-03 16:41:41 · 1557 阅读 · 0 评论 -
Ambari2.6详细安装步骤
Ambari详细安装步骤 Ambari简介Ambari跟Hadoop等开源软件一样,也是Apache Software Foundation中的一个项目,并且是顶级项目。目前最新的发布版本是2.7.3。就Ambari的作用来说,就是创建、管理、监视Hadoop的集群,但是这里的Hadoop是广义,指的是Hadoop整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper等...原创 2019-08-29 11:30:20 · 2764 阅读 · 0 评论 -
hive与hbase的十大区别与联系
问题导读:hive与hbase的底层存储是什么?hive是产生的原因是什么?habase是为了弥补hadoop的什么缺陷?共同点:1.hbase与hive都是架构在hadoop之上的。都是用hadoop作为底层存储区别:2.Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统,HBase是为了支持弥补Hadoop对实时操作的缺陷的项目 。3.想象你在操作RM...转载 2019-08-26 15:48:31 · 1412 阅读 · 0 评论 -
Hive使用HiveServer2服务端配置、启动允许远程连接
1、hive 命令行模式直接输入./hive/bin/hive的执行程序,或者输入 hive –service cli用于linux平台命令行查询,查询语句基本跟MySQL查询语句类似。2、jdbc远程连接hiveserver2(1)、hiveserver2增加了权限控制,需要在hadoop的配置文件中配置增加权限。在hadoop的core-site.xml中添加如...原创 2019-08-15 14:38:35 · 3699 阅读 · 0 评论 -
伪分布式模式安装HBase和ZooKeeper
第一步:安装单机ZooKeeper1.在namenode机器下,配置zookeeper,先解压安装包,使用命令:tar-zxvfzookeeper-3.4.4.tar.gz2.进入zookeeper的配置目录,首先把zoo_sample.cfg重命名一下,可以重新复制一遍,使用命令:cpzoo_sample.cfg zoo.cfg3.配置zoo.cfgdat...原创 2019-08-20 14:32:53 · 1624 阅读 · 0 评论 -
Hadoop2.6.0在Ubuntu18中安装教程_单机/伪分布式配置
当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛。尽管安装其实很简单,书上有写到,官方网站也有 Hadoop 安装配置教程,但由于对 Linux 环境不熟悉,书上跟官网上简略的安装步骤新手往往 Hold 不住。加上网上不少教程也甚是坑,导致新手折腾老几天愣是没装好,很是打击学习热情。本教程适合于原生 Hadoop 2,包括 Hadoop 2.6.0, Hadoop...原创 2017-09-24 11:36:44 · 971 阅读 · 0 评论 -
写给大数据开发初学者的话 | 附教程
导读:第一章:初识Hadoop第二章:更高效的WordCount第三章:把别处的数据搞到Hadoop上第四章:把Hadoop上的数据搞到别处去第五章:快一点吧,我的SQL第六章:一夫多妻制第七章:越来越多的分析任务第八章:我的数据要实时第九章:我的数据要对外第十章:牛逼高大上的机器学习经常有初学者在博客和QQ问我,自己想往大数据方向发展,该学哪些技术,学习路线是什么样的,觉得大数据很火转载 2017-11-27 17:02:20 · 9011 阅读 · 2 评论 -
简明Hadoop配置(3)——windows下eclipse连接虚拟机
在windows下配置,还需要当心IP地址和eclipse配置时的问题,这需要单独说一下。在Ubuntu下eclipse新建hadoopIP直接填localhost就好,但是在windows下肯定是不行的,它需要连接到虚拟机中的hadoop,这里涉及到配置虚拟机Ubuntu的固定IP,还设计到telnet服务,比较麻烦,我们一个一个讲(所以说,还是推荐在Ubuntu下使用eclipse连接ha原创 2017-11-13 22:43:16 · 1028 阅读 · 0 评论 -
hadoop面试100道收集(带答案)
a) 创建hadoop账号b) 更改ipc) 安装java 更改/etc/profile 配置环境变量d) 修改host文件域名e) 安装ssh 配置无密码登录f) 解压hadoopg) 配置hadoop conf下面的配置文件h) Hadoop namenode -format 格式化i) Start 启动2.列出had转载 2017-11-15 14:15:16 · 1911 阅读 · 0 评论 -
零基础学习hadoop到上手工作线路指导(初级篇)
零基础学习hadoop,没有想象的那么困难,也没有想象的那么容易。在刚接触云计算,曾经想过培训,但是培训机构的选择就让我很纠结。所以索性就自己学习了。整个过程整理一下,给大家参考,欢迎讨论,共同学习。从一开始什么都不懂,到能够搭建集群,开发。整个过程,只要有Linux基础,虚拟机化和java基础,其实hadoop,没有太大的困难。首先整体说一下学习过程给大家借鉴:首先查阅了资料,什转载 2017-11-06 13:13:31 · 860 阅读 · 0 评论 -
ubuntu14.04下解决eclipse菜单栏消失问题
1.新建一个eclipse.sh文件放入到eclipse安装目录,加入如下内容#!/bin/bashexport UBUNTU_MENUPROXY=0/usr/bin/eclipse/eclipse需要注意第三行:eclipse的安装路径在/usr/share/eclipse下,但安装时,应该是默认建立了一个链接,通过/usr/bin/eclipse可以运行,因此此处路径为/usr原创 2017-11-18 20:19:03 · 939 阅读 · 0 评论 -
人工智能大数据,公开的海量数据集下载
数据集的网站:1、Public Data Sets on Amazon Web Services (AWS)http://aws.amazon.com/datasetsAmazon从2008年开始就为开发者提供几十TB的开发数据。2、Yahoo! Webscopehttp://webscope.sandbox.yahoo.com/index.php3、Konect is a...原创 2019-09-19 09:45:24 · 26223 阅读 · 1 评论