大数据
麦嘟学编程
这个作者很懒,什么都没留下…
展开
-
大数据之zokeeper-3.4.6搭建
搭建Hadoop集群环境时,在HA和Hbase操作时,需要使用zookeeper进行分布式数据管理和系统协调,今天讲述下如何进行安装。准备三台服务器node1,node2,node3.进入官网下载zookeeper-3.4.6版本(与后面hbase版本匹配,官方推荐版本)https://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/...原创 2020-03-06 16:52:26 · 361 阅读 · 0 评论 -
Eclipse连接Hadoop分析的三种方式
Hadoop一般都部署在linux平台上,想让Hadoop执行我们写好的程序,首先需要在本地写好程序打包,然后上传到liunx,最后通过指定命令执行打包好的程序;一次两次还可以,如果进行频繁的调试是很不方便的,所有最好是能直接通过IDE直接连接Hadoop;下面总结了三种方式连接Hadoop执行分析:1.利用Hadoop的本地模式,在Eclipse中执行本地数据计算2.Eclipse连接远...转载 2020-02-27 15:49:45 · 1112 阅读 · 0 评论 -
hive项目开发前奏--数据清洗
从网上爬取下来的数据一定要通过mapreduce清晰后,才方便hive操作,今天对项目案例的视频数据进行清洗。1.创建maven工程,在pom.xml配置所需的jar包<dependency> <groupId>junit</groupId> <artifactId>junit</arti...原创 2019-07-16 16:47:50 · 930 阅读 · 0 评论 -
hive初始化失败
当我们安装好mysql数据库,需要将hive的元数据通过初始化操作存入mysql数据库中,但是今天再次初始化失败。1.日志包冲突在hadoop和hive的lib下有同样的日志包,所以选择删除其他一个。即可解决2.mysql配置文件的问题。修改mysqld.cnf文件,注释掉bind-address =127.0.0.1sudo vi /etc/mysql/mysql....原创 2019-07-05 21:39:28 · 5792 阅读 · 1 评论 -
hive 常见错误
提到Hive一般都会想到,Hive是数据仓库,支持类SQL查询,有很多语法支持,可以嵌套MR,写Transform、写UDF/UDAF等,但是,不支持更新操作。所以Hive的常见也一般都是一次写入,频繁读取。从Hive 0.13开始,加入了ACID的新feature,但是0.13的时候还不支持insert、update和delete操作,我也并没有欣然的当小白鼠。 目前我们平台使用hiv...原创 2018-08-07 22:22:32 · 5954 阅读 · 0 评论 -
hive配置文件中的参数描述
hive.exec.max.created.files•说明:所有hive运行的map与reduce任务可以产生的文件的和•默认值:100000 hive.exec.dynamic.partition•说明:是否为自动分区•默认值:falsehive.mapred.reduce.tasks.speculative.execution•说明:是否打开推测执行•默认值:...转载 2018-08-10 18:38:11 · 825 阅读 · 0 评论 -
Hadoop之—— WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...
hahoop平台搭建好后,使用hdfs创建文件夹时报警告:在网上参考一篇文章:https://blog.csdn.net/l1028386804/article/details/51538611但是不知道mac下ldd命令应该是用哪个替换,也没有去百度,直接使用第二种方法,去改日志文件使用vim:cd /Users/yangting/hadoop-2.9.0/etc/ha...原创 2018-07-30 17:27:20 · 1450 阅读 · 0 评论 -
Mac搭建hadoop平台
1.一直想在虚拟机下的ubuntu搭建hadoop平台,前段时间全部搞定,最近挂掉了,然后平台搭建出现问题啦。卡了几天,然后决定抛弃虚拟机,直接在mac搭建。跟虚拟机一样,需要安装ssh。此文不做介绍。直接介绍hadoop平台的搭建:1.官网下载haoop2.9.0。解压后直接移动/Users/yangting/(1).进入/Users/yangting/hadoop-2.9....原创 2018-07-30 17:08:16 · 9674 阅读 · 0 评论 -
Class path contains multiple SLF4J bindings. 怎么解决
今天在搭建hba se时,启动./start-hbase.sh.提示:jar包冲突,删除其他一个就可以啦rm /home/yangting/hbase/hbase-2.0.0-beta-1/lib/slf4j-log4j12-1.7.25.jar即可原创 2018-07-26 20:58:34 · 1108 阅读 · 1 评论 -
HIVE和HBASE区别
HIVE和HBASE区别1. 两者分别是什么? Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能,但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。 Apach...转载 2018-07-23 13:06:10 · 302 阅读 · 0 评论 -
HBase详细概述
本文首先简单介绍了HBase,然后重点讲述了HBase的高并发和实时处理数据 、HBase数据模型、HBase物理存储、HBase系统架构,HBase调优、HBase Shell访问等。不过在此之前,你可以先了解 Hadoop生态系统 ,若想运行HBase,则需要先搭建好Hadoop集群环境,可以参考此文搭建5个节点的hadoop集群环境(CDH5) 。好了,让我们来学习HBase吧!HBase简...转载 2018-05-16 15:41:16 · 693 阅读 · 0 评论 -
hive删表错误
当我们使用hive创建表后,发现有些表无法满足需求,需要删除时,执行drop table t1;无法删除,报错:后来经过查询,mysql驱动包版本太低导致的,替换成高版本后即可删除...原创 2018-04-09 18:12:41 · 326 阅读 · 0 评论 -
Hadoop WordCount
package com.yc.hadoop.hdfs;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWrita...原创 2018-03-25 16:06:57 · 189 阅读 · 1 评论 -
hadoop参数配置详解
在搭建hadoop开发环境的时,配置的参数非常多,要怎么设定才能达到最好的效能是一件令人头痛的事,通过本文的分析使读者能对hadoop的参数配置有一个详细的了解,初步学会如何进行hadoop参数配置。一、配置文件介绍在hadoop集群中,需要配置的文件主要包括四个,分别是core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml,这四个文件分...转载 2018-03-05 19:03:22 · 4849 阅读 · 0 评论 -
hive平台搭建
Hive 简介Hive 是一个基于 hadoop 的开源数据仓库工具,用于存储和处理海量结构化数据。它把海量数据存储于 hadoop 文件系统,而不是数据库,但提供了一套类数据库的数据存储和处理机制,并采用 HQL (类 SQL )语言对这些数据进行自动化管理和处理。我们可以把 Hive 中海量结构化数据看成一个个的表,而实际上这些数据是分布式存储在 HDFS 中的。 Hive 经过对语句进行解析...转载 2018-02-25 17:26:48 · 681 阅读 · 0 评论 -
ubuntu12安装ssh无密码登陆
为了在ubuntu12搭建hadoop伪分布式平台,需要安装ssh,按照相应的步骤,使用apt-get install openssh-server却无法安装成功,提示Package 'opens-server' has no installation. candidate .使用apt-get update命令后还是无法安装,最后我使用了163的镜像http://mirrors.163.co原创 2018-02-01 14:07:24 · 212 阅读 · 0 评论