大数据相关
关注
分享
扫一扫
文章平均质量分 65
wangan094
这个作者很懒，什么都没留下…
展开
-
elasticsearch-head设置登录用户和密码
将elasticsearch-head-master/index.html路径下的index.html文件替换为如下代码，userName和userPassword自定义<!DOCTYPE html> <html><head><meta charset="UTF-8"><title>elasticsearch-head&...原创 2020-03-30 15:14:55 · 8259 阅读 · 5 评论 -
云服务器中设置kibana访问账号密码
kibana默认没有访问的权限控制，通过安装一个nginx来发布kibana，来设置用户名密码验证。注意：nginx和kibana需安装在同一台服务器上。若在云服务器中，通过nginx代理后，设置安全组，不再对外开放5601号端口。1、安装ngnix：vi /etc/yum.repos.d/nginx.repo ，添加：[nginx] name=nginx repo ...原创 2020-03-30 15:09:40 · 1188 阅读 · 0 评论 -
ES(ElasticSearch)搭建3节点(云服务器)ELK集群及插件安装
概述： 三台云服务器分别是腾讯云、华为云、阿里云。搭建集群过程中，需要在安全组中开放三台云服务的9200、9300、9100、5601端口。1、安装java：#安装szrz命令：yum install -y lrzszchmod 755 /root/packages/jdk-8u201-linux-x64.rpmrpm -ivh /root/packages/j...原创 2020-03-29 17:37:27 · 2227 阅读 · 0 评论 -
Hive与Hbase整合及hive-hbase-handler的jar包重新编译
一、为什么要整合hive和hbase二、整合后实现的目标三、当hive和hbase版本都是1.几时，需要重新编译jar包hive-hbase-handler，操作步骤如下：1、下载hive源码：（这个地址可方便快捷下载大数据平台的各个组件）http://archive.apache.org/dist/hive/hive-1.2.1/2、解压，进入Hive源码，把...原创 2020-02-05 20:53:33 · 2562 阅读 · 2 评论 -
hive报错：permission denied by sticky bit无法删除文件解决办法
HDFS上在一个目录上设了sticky位后，（如/home，权限为1777)所有的用户都可以在这个目录下创建文件，但只能删除自己创建的文件(root除外)，这就对所有用户能写的目录下的用户文件启到了保护的作用。解决办法：hdfs用户在HDFS上权限最大，可以用hdfs用户改变该文件的属主，然后删除：1、改变属主：sudo -u hdfs hdfs dfs -chown -R r...原创 2019-11-21 17:38:47 · 3927 阅读 · 1 评论 -
shell调度hive脚本的例子
一、编写shell脚本ceshi.sh#!/bin/bash #参数传递source /etc/profile;source ~/.bash_profile;BASEDIR=`dirname $0`cd $BASEDIR #classpath优先当前目录CLASSPATH=$BASEDIR#classpath其次是config目录#classpath再次是lib目录...原创 2019-11-21 17:25:32 · 1049 阅读 · 0 评论 -
linux下安装配置hive
本机安装hive的过程记录在这里，参考文章：https://blog.csdn.net/Alen_Liu_SZ/article/details/80752273一、 安装前准备1 安装Hadoop具体安装过程参考：Hadoop 2.7.6安装_伪分布式集群2 安装MySQL具体安装过程参考：MySQL基于二进制文件安装3 下载Hive以及MySQL-jdbcHIve下载...原创 2019-03-24 13:33:24 · 1846 阅读 · 0 评论 -
Permission denied: user=dr.who, access=READ_EXECUTE, inode=“/tmp“:root:super
Permission denied: user=dr.who, access=READ_EXECUTE, inode="/tmp":root:super解决办法：执行hdfs dfs -chmod -R 755 /tmp就可以访问了。或者777所有用户都可读可写可执行。hdfs dfs -chmod -R 755 /tmp权限755：-rwx-r--r-- (一共10个参数) 表示文...原创 2019-03-24 14:58:33 · 6275 阅读 · 3 评论 -
sqoop1和sqoop2安装配置
自己去官网上看user guide,可有效解决问题：http://sqoop.apache.org/一、sqoop1,sqoop-1.4.6.bin_hadoop-2.0.4-alpha.tar.gz安装配置：1、下载解压：2、修改配置文件：cd $SQOOP_HOME/confmv sqoop-env-template.sh sqoop-env.sh打开sqoop-env...原创 2019-04-15 15:01:44 · 418 阅读 · 0 评论 -
SQuirrel SQL Client安装及连接hive配置
网上有很多SQuirrel SQL Client安装配置及连接hive配置文档，但大部分文档都没有提到3个比较坑的地方：（1）连接前先开启hiveserver2服务；（2）hive连接附加jar类不完整导致成功连接后执行sql报错；（3）修改hadoop和hive的配置文件；1、下载客户端SQuirrel SQL Client的官网及下载地址为：http://squirr...原创 2019-04-14 11:22:48 · 1816 阅读 · 1 评论 -
HiveSQL正则表达式的应用
1.正则的通配符简介1）正则表达式的符号及意义^ 表示开头$ 表示结尾. 表示任意字符* 表示任意多个/ 做为转意，即通常在"/"后面的字符不按原来意义解释，如/b/匹配字符"b"，当b前面加了反斜杆后//b/，转意为匹配一个单词的边界。-或-对正则表达式功能字符的还原，如"*"匹配它前面元字符0次或多...转载 2019-04-14 13:08:16 · 924 阅读 · 0 评论 -
hadoop的Context类详解
问题导读：1.Context能干什么？2.你对Context类了解多少？3.Context在mapreduce中的作用是什么？下面我们通过来源码，来得到Context的作用：下面主要对Setup函数进行深入探讨：首先看下两个程序的区别：区别在于第一个程序把context这个上下文对象作为map函数的参数传到map函数中，第二个程序则是在setup函数中处理了con...转载 2019-04-25 16:04:25 · 3450 阅读 · 0 评论 -
理解Spark RDD中的aggregate函数
原文地址：https://blog.csdn.net/qingyang0320/article/details/51603243这篇文章介绍spark的aggregate用法，解释的挺清楚的，记录在这里：首先，Spark文档中aggregate函数定义如下：defaggregate[U](zeroValue:U)(seqOp: (U,T) ⇒U,combOp: (U,U) ...转载 2019-05-09 16:40:26 · 1213 阅读 · 0 评论 -
linux下scala及spark安装配置
一、安装配置scala：1 首先建立scala存放目录：mkdir /root/scala2 解压至该目录：tar -zxvf /root/software/scla-asdfa -C /root/scala3 然后配置环境变量，执行 vim /etc/profile 编辑配置文件，在PATH后追加scala的二进制位置，这里是 :/usr/local/scala/s...原创 2019-03-22 23:12:50 · 759 阅读 · 0 评论 -
idea里搭建spark、mapreduce开发环境
1、安装scala的idea插件：file —— settings —— plugins ，输入scala，搜索插件下载安装，注意版本：2、配置scala的SDK：先下载解压scala，直接从linux服务器端解压一个就行file —— project structure —— library，配置之后，new就可以看到scala class了：配置spark和sc...原创 2019-03-25 22:43:31 · 1152 阅读 · 0 评论 -
配置hadoop fs命令到环境变量
通过修改 /etc/profile 文件来修改环境变量修改位置如下：# Path manipulationif [ "$EUID" = "0" ]; thenpathmunge /sbinpathmunge /usr/sbinpathmunge /usr/local/sbinelsepathmunge /usr/local/sbin after...原创 2021-08-16 19:50:24 · 230 阅读 · 0 评论 -
使用Docker搭建大数据Hadoop环境
使用Docker搭建大数据Hadoop环境一、安装Docker原文地址：https://www.imooc.com/article/48676、http://www.runoob.com/docker/centos-docker-install.html这是本人第一次用Docker搭建大数据Hadoop环境的步骤，记录在这里：1. 对于CenterOS7系统，内置Docker，可以...转载 2019-03-11 14:42:50 · 3031 阅读 · 1 评论 -
IntelliJ中配置连接MaxCompute项目空间Access Id、Access Key、Project Name填写
原文链接：https://help.aliyun.com/document_detail/50855.html?spm=a2c4g.11186623.2.16.42e42b17Lupy0u#concept-zrp-lyz-5db在IntelliJ中配置连接MaxCompute项目空间时，有一步配置有点坑，记录在这里：这一步：Access Id、Access Key依次填写：http...原创 2019-03-16 12:08:47 · 2071 阅读 · 0 评论 -
zookeeper的集群部署
上传安装包到集群服务器 解压：tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/local/java 修改配置文件： 进入zookeeper的安装目录的conf目录cp zoo_sample.cfg zoo.cfgvi zoo.cfg# The number of milliseconds of each ticktickTime=20...原创 2019-03-21 15:04:15 · 203 阅读 · 0 评论 -
VMware虚拟机linux设置静态IP并修改主机名（linux下搭建hadoop集群网络配置）
在linux下搭建hadoop集群时，几台虚拟机设置静态IP并修改主机名，记录如下：先配置VMware8宿主机可以看做一个路由器，虚拟机通过宿主机的网络来访问 Internet，VMnet8就相当于这个路由器：这里的默认网关配置为：192.168.47.1通过xshell连接的时候可以看到，xshell通过VMware8配置的192.168.47.131连接到的虚拟机：...原创 2019-03-18 10:24:20 · 3249 阅读 · 1 评论 -
linux下zookeeper和hbase安装配置
一、安装配置zookeeper：1 上传安装包到集群服务器，解压2 修改配置文件，进入zookeeper的安装目录的conf目录cp zoo_sample.cfg zoo.cfgvi zoo.cfg# The number of milliseconds of each ticktickTime=2000initLimit=10syncLimit=5dataDir=/...原创 2019-03-24 23:41:25 · 709 阅读 · 0 评论 -
Hadoop环境搭建配置
这篇文章不错，记录下：原文：https://blog.csdn.net/u010741032/article/details/807620191. 首先 配置Java环境变量：先将jdk包用FileZilla上传到linux系统tar -xvf jdk-8u144-linux-x64.tar.gz -C ~/training/tar 解压命令， x表示解压，v表示显示解压...转载 2019-03-18 11:08:58 · 218 阅读 · 0 评论 -
Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)及免密登录
原文地址：https://blog.csdn.net/pucao_cug/article/details/716989031下载hadoop2安装3个虚拟机并实现ssh免密码登录2.1安装3个机器2.2检查机器名称2.3修改/etc/hosts文件2.4 给3个机器生成秘钥文件2.5 在h...转载 2019-03-18 12:20:05 · 1519 阅读 · 0 评论 -
hbase执行list命令报错：ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
今天，可能误删了什么文件，导致在Hbase的hbase shell中执行list命令报如下错误：HDFS前端报错：There are 1 missing blocks The following files may be corrupted解决办法：1、检查文件缺失情况：hadoop fsck /user/hive/warehouse | grep parquet2、删...原创 2019-03-25 12:28:30 · 1547 阅读 · 0 评论 -
vi /etc/hosts 配置集群内主机的域名映射注意问题
linux虚拟机内集群报错：java.net.ConnectException: Connection refused，2019-03-18 15:18:15,750 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: IOException in offerServicejava.io.EOFException: End of Fil...原创 2019-03-18 16:01:43 · 8127 阅读 · 0 评论 -
hive 默认的字段分隔符
hive 默认的字段分隔符为ascii码的控制符\001,建表的时候用fields terminated by '\001',如果要测试的话，造数据在vi 打开文件里面，用ctrl+v然后再ctrl+a可以输入这个控制符\001。按顺序，\002的输入方式为ctrl+v,ctrl+b。以此类推。控制符在java代码中如何输入呢？采用如下方式：byte[]bytes=newbyte...原创 2019-03-21 21:27:37 · 6532 阅读 · 0 评论 -
eclipse上传文件到到hdfs显示权限错误Permission denied
例如：Permission denied: user=dr.who, access=WRITE, inode="/":root:supergroup:drwx解决办法最终，总结下来解决办法大概有三种：1、在系统的环境变量或java JVM变量里面添加HADOOP_USER_NAME，这个值具体等于多少看自己的情况，以后会运行HADOOP上的Linux的用户名。（修改完重启eclipse...原创 2019-03-18 19:01:13 · 801 阅读 · 0 评论 -
Hadooop集群安装超详细
原文链接：https://blog.csdn.net/woshigeshou123/article/details/88331741、集群部署介绍1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google ...转载 2019-03-13 20:30:13 · 955 阅读 · 0 评论 -
eclipse搭建hadoop大数据开发环境
这篇文章是本人刚开始学习hadoop大数据技术的操作步骤，很详细，适合入门的初学者： 这2天，先是在windows上装了个虚拟机，在虚拟机里centos下，用docker搭建了一个hadoop大数据开发环境（详见上篇博客），但是用eclipse远程连接过去时，不知道怎么连到docker里面去；所以又在windows下搭建了个hadoop开发环境，中间遇到了些问题，花费了很多...原创 2019-03-14 22:23:40 · 1639 阅读 · 2 评论