大数据
文章平均质量分 64
一枚二白大学生
qq:908024331
展开
-
hadoop原生平台搭建教程
搭建准备hadoop-3.1.1.tar.gz jdk-8u77-linux-x64.tar.gz(官网下载)0x1 基础环境配置centos 7.1系统我这里使用的是双节点。创建两台虚拟机 master、slaver 并使用hostnamectl set-hostname改名开启主机的DHCP模式,自动获取ip地址。方法如下:cd /etc/sysconfig/net...原创 2018-10-13 14:16:05 · 1508 阅读 · 0 评论 -
ambari大数据平台搭建
一.环境准备centos下载地址:https://www.centos.org/download/Ambari下载地址:http://docs.hortonworks.com/HDPDocuments/Ambari-2.4.1.0/bk_ambari-installation/content/ambari_repositories.htmlHDP和HDP UTILS下载...原创 2019-01-03 14:41:36 · 1366 阅读 · 0 评论 -
hbase权限管理org.apache.hadoop.hbase.security.AccessDeniedException: Insufficient permiss......
今天在hbase里批量插入数据时遇到问题hbase报错:org.apache.hadoop.hbase.security.AccessDeniedException: Insufficient permiss......当看到这个问题时首先第一反应就是权限问题,在给hbase用户赋值之后依然这样于是我想到是不是数据库的问题导致无法运行脚本在我给用户赋值权限后问题解决在hbase...原创 2019-02-24 13:52:20 · 6261 阅读 · 1 评论 -
hive 查询数据表 中数据在 HDFS 所处的文件位置列表信息
show create table tablename; 例:原创 2019-02-24 15:45:52 · 2677 阅读 · 0 评论 -
解决ambari平台hive进入卡住
在玩hive时遇到一个百思不解的问题在启动时总是卡住无法进入查看日志也没有异常最后解决方案结束多余jps进程然后重启ambari-agent就行了原创 2019-02-13 16:51:29 · 1398 阅读 · 2 评论 -
hdfs Name node is in safe mode报错
这是因为在分布式文件系统启动的时候,开始的时候会有安全模式,当分布式文件系统处于安全模式的情况下,文件系统中的内容不允许修改也不允许删除,直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中,系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示,只需要等待一会...原创 2019-03-10 09:40:50 · 205 阅读 · 0 评论 -
habse-报错:ERROR: org.apache.hadoop.hbase.security.AccessDeniedException: Insufficient
本人在利用ambari集群中的hbase时遇到报错权限不够,根据网上设置安全认证,同步时间无果后试了下给hbase用户赋权777,并以hbase用户启动报错完美解决...原创 2019-03-15 14:39:16 · 2841 阅读 · 0 评论 -
大数据平台--Hbase原生搭建教程
1.环境准备centos 7.1系统需要三台云主机:master(8) 作为 client 客户端 slave1(9) 作为 hive server 服务器端 slave2(10)这是本次搭建需要用到的包2.基础环境搭建首先我们需要将java包解压并配置生效java环境变量(前面章节有)然后我们配置hbase环境变量vi /etc/profileexpor...原创 2019-04-07 14:17:49 · 557 阅读 · 0 评论 -
Hbase简介--初学者最好看一下这些
Hbase简介HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理 HBase中的海量数据,利用Zookeeper作为其分布式协同服务。HBASE主要用来存储非结构化和半结构化的松散数据(列存NoSQL数据库)。在创...原创 2019-08-09 15:18:02 · 223 阅读 · 0 评论 -
大数据原生包搭建脚本
提示:本脚本是运行在centos7上的,节点为master、slave1、slave2。搭建平台主要是基础环境(java环境配置、ntp、主机互通)zookeeper、hadoop、hbase、hivejava+zookeeper:master:#1.安装虚拟机,关闭防火墙、selinux(每个节点都要运行)systemctl stop firewalld setenforce ...原创 2018-12-11 11:15:40 · 234 阅读 · 0 评论 -
hive启动报错org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.
出现上述问题主要是metastore重复启动导致端口被占用我们只需要将hive关闭再启动即可然后启动OK了原创 2018-11-27 10:42:10 · 12367 阅读 · 0 评论 -
hadoop平台报错:ATTEMPTING TO OPERATE ON HDFS NAMENODE AS ROOT(start-all.sh)启动失败解决方法
如果遇到需要修改start-dfs.sh stop-dfs.sh start-yarn.sh stop-yarn.sh四个文件的用户名,并需要修改/etc/SELINUX/confde配置配置vi start-dfs.sh添加HDFS_DATANODE_USER=rootHADOOP_SECURE_DN_USER=hdfs...原创 2018-10-13 14:28:08 · 10762 阅读 · 7 评论 -
hadoop hdfs基础命令
Hadopp hdfs组件基础命令首行默认 hadoop fs 选项名称 使用格式 含义 -ls -ls <路径> 查看指定路径的当前目录结构 -lsr -lsr <路径> 递归查看指定路径...原创 2018-10-14 16:10:35 · 253 阅读 · 1 评论 -
大数据平台--Zookeeper原生搭建教程
环境准备:三台虚拟机 master(8)、slave1(9)、slave2(10)centos 7.1、jdk-8u171-linux-x64.tar.gz、zookeeper-3.4.10.tar.gz这个章节非常简单,我们只需要配置一个配置文件就行了0x1配置java环境三个节点创建java目录:mkdir -p /usr/java然后解压到目录tar -zxvf /o...原创 2018-10-25 16:16:18 · 211 阅读 · 0 评论 -
大数据平台--Hadoop原生搭建教程
环境准备:三台虚拟机 master(8)、slave1(9)、slave2(10)centos 7.1、jdk-8u171-linux-x64.tar.gz、hadoop-2.7.3.tar.gz0x1环境准备首先先在三台虚拟机中创建hadoop文件夹mdkir /usr/hadoop在master中将hadoop解压到master的Hadoop文件夹中tar -z...原创 2018-10-25 17:05:35 · 1194 阅读 · 2 评论 -
大数据平台--Hive原生搭建教程
环境准备centos 7.1系统需要三台云主机:master(8) 作为 client 客户端 slave1(9) 作为 hive server 服务器端 slave2(10) 安装 mysql server注:ip段为8(下同,实际情况根据自己设定来)安装包使用的是官网下载的(没有的同学百度一下直接到官网下载)将hive上传到master ,mysql上传到lib...原创 2018-10-24 12:46:29 · 1284 阅读 · 0 评论 -
Hadoop基础命令
hadoop fs -cmd cmd: 具体的操作,基本上与UNIX的命令行相同 hadoop fs -mkdir /user/trunk (创建目录) hadoop fs -ls /user (显示目录文件) hadoop fs -lsr /user (递归的) hadoop fs -put test.txt /user/trunk (复制文件到/user/trunk 目录下) ha...转载 2018-11-09 21:38:58 · 362 阅读 · 0 评论 -
大数据学习笔记
在学习大数据之前,我们需要先了解什么是大数据 大数据(Big Data)又称为巨量资料,指需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。“大数据”概念最早由维克托·迈尔·舍恩伯格和肯尼斯·库克耶在编写《大数据时代》中提出,指不用随机分析法(抽样调查)的捷径,而是采用所有数据进行分析处理。大数据是一个数据的集合,能够反映一段时间内某一样本内...原创 2018-11-09 22:03:49 · 325 阅读 · 0 评论 -
hive数据库数据次数统计排序
在学习hive中我们首先练笔的应该是数据统计问题:用py爬取某网站用户名并通过hive分析用户发言次数前十爬虫代码我就不列出来了将其爬下来如何上传到linux,通过cat查看然后我们将其上传到hive数据库先进hive数据库/usr/hive/apache-hive-2.1.1-bin/bin/hive创建表usercreate table user(user_...原创 2018-12-11 10:59:34 · 5400 阅读 · 0 评论 -
hive去重统计
hive去重多行数据并统计这个是练习数据部分截图,可以看出有部分重复数据OK我们先进入hive然后创建库uidcreate database uid;然后创建表uid_idcreate table uid_id(uid_id int);然后去重select distinct uid_id from uid;最后完成会弹一个提示里面有表的数据量就是出重后...原创 2018-12-11 10:59:49 · 2492 阅读 · 1 评论 -
hive简介--初学者最好看一下
hive简介Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上。Hive并不是一个完整的数据库, Hadoop以及HDFS的设计本身约束和局限性地限制了Hive所能胜任的工作。其中最大的限制就是Hive不支持记录级别的更新、插入或者删除操作。同时hive用户可以通过查询生成新表或者将查询结果导人到文件中。因为Hadoop是一个面向批处理的系统,而...原创 2019-08-09 15:36:29 · 255 阅读 · 0 评论