- 博客(44)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 windows配置kerberos客户端
cm6.2开启了kerberos，然后访问hdfs-web页面报错：Permission denied when trying to open /webhdfs/v1/?op=LISTSTATUS: java.lang.IllegalArgumentException1、需要配置windows kerberos客户端下载地址：http://web.mit.edu/kerbe...
2020-01-09 16:37:40
2825
原创 cm6.2配置动态资源
cloudera-manager6.2centos 6.8配置之前我配置好了sentry和kerberos1、检查hdfs权限和yarn开启acl2、配置动态资源2.1、根据提示可以开启提交访问控制，池子可以嵌套，继承，多个用户用户组用逗号隔开可以限制哪些用户和用户组提交到该池。3、创建用户提交任务集群每台机器都创建test...
2020-01-08 13:56:43
297
原创 cm6.2配置sentry
基于cloudera-manager6.2部署sentry系统：centos 6.8因为我是本地电脑开的几个虚拟机，为了减少内存，我把监控服务停了，报黄都可以忽略，服务器上都是正常绿色的。首先开启kerberoskerberos安装看https://blog.csdn.net/qq_35315256/article/details/103678473根据提示一步一步进...
2020-01-07 11:26:23
1255
原创 centos6.8部署cloudera-manager
环境centos 6.8cm6.2cdh6.2jdk1.8机器 node1 node2 node31、下载安装包下载地址https://archive.cloudera.com/cm6/6.2.0/redhat6/yum/RPMS/x86_64/cm6.2的包cdh6.2的包https://archive.cloudera.com/cdh6...
2019-12-27 19:25:23
346
原创 centos6.8部署kerberos
Kerberos是一种认证机制，用于hadoop集群安全认证1、安装系统环境：centos6.8集群主机： node1 node2 node3软件包： 下载地址：http://www.rpmfind.net//自己在这搜索上述包即可 离线安装 在主机node1执行切记个--nodeps 这个参数，万恶之源，如果有其他服务依赖他会...
2019-12-24 17:07:09
600
1
原创 MR——worldcount案例
springboot程序1、导入依赖 <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>RELEASE</version> </depen...
2019-12-23 19:27:17
97
原创 sqoop1.4.7
sqoop安装1、sqoop 1.4.7下载地址http://mirrors.hust.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz2、tar 解压,配置环境变量3、cp mysql-connector-java-5.1.36.jar /usr/local/sqoop-1.4.7/lib/4、配置v...
2019-12-23 19:27:10
134
原创 zookeeper3.4.12安装
安装下载地址https://apache.org/dist/zookeeper/1、解压tar -zxvf zookeeper-3.4.12.tar.gz2、更改配置文件cd confmv zoo_sample.cfg zoo.cfgdata目录和logs目录默认是没有的，需要自己预先建立好 vim zoo.cfg# 存放数据的目录dataDir=/us...
2019-12-23 19:27:02
131
原创 SpringCloudZuul服务网关
spring-boot版本：2.0.4.RELEASE，spring-cloud版本：Finchley.RELEASE，java版本：1.8一、快速启动一个zuul1.新建一个父项目，依赖如下<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0...
2019-12-23 19:26:50
215
原创 Hive2.3.4安装
Hadoop版本：2.7.6hive版本：2.3.4hive各版本下载地址：https://archive.apache.org/dist/hive/hive官网：https://hive.apache.org/1、解压下载好tar包传到服务器/usr/local下cd /usr/localtar -zxvf apache-hive-2.3.4-bin.tar.gz...
2019-12-23 19:26:48
211
原创 kafka安装0.10.2.2，scala-2.10
下载地址http://kafka.apache.org/downloads.html1、解压2、在kafka根目录下创建kafkalogs3、cd/usr/local/kafka-0.10/config4、配置文件vim server.propertiesbroker.id=0 #当前机器在集群中的唯一标识，和zookeeper的myid性质一样port=19092 #...
2019-12-23 19:26:40
184
原创 ORC存储格式
1、orc索引index、row group index、bloom filter indexset hive.optimize.index.filter=true;打开索引（默认是flase）轻量级索引Row Group Index一个orc文件包含一个或者多个stripe(groups of row data)，stripe里面存放数据和索引和stripe footer。每个s...
2019-12-23 19:26:31
447
原创 hive学习笔记
1、创建表create table test(name string,friends array<string>,children map<string,int>,address struct<street:string,city:string>)partitioned by(time string)row format delimited...
2019-12-23 19:25:45
202
原创 zookeeper笔记
1、shell命令1、zcCli.sh 连接ls /ls2 / 查看节点详情2、创建2个普通的节点创建数据得写数据，不写不让创建create /sanguo “zhangfei“create /sanguo/shuguo "guanyu"get /sanguo/shuguo获取数据3、节点类型持久型 分为 持久的和序号短暂型 分...
2019-12-23 19:25:34
66
原创 VUE——HelloWorld
1、安装node环境https://nodejs.org/zh-cn/我下载的是win10的，自带npm，安装好测试一下node -vnpm -v有版本号即可------------------此时node环境安装完毕由于npm有些资源被屏蔽或者是国外资源的原因，经常会导致用npm安装依赖包的时候失败，所有我还需要npm的国内镜像---cnpm在命令行中输入npm...
2019-12-23 19:25:13
126
原创 Phoenix
jdbc连接工具 ——PhoenixPhoenix、hive、impala，phoenix可能不成熟，但是速度要快Phoenix安装很简单1、解压Phoenix，2、复制下面jar到各个节点的hbase/lib下phoenix-4.14.1-HBase-1.2-client.jarphoenix-4.14.1-HBase-1.2-server.jarphoenix-cor...
2019-12-23 19:24:57
214
原创 Kerberos基本配置
1 选择一台机器运行KDC，安装Kerberos相关服务yum install -y krb5-devel krb5-server krb5-workstation2 配置Kerberos，包括krb5.conf和kdc.conf，修改其中的realm，把默认的EXAMPLE.COM修改为自己要定义的值vim /etc/krb5.conf[logging] default = ...
2019-12-23 19:24:54
664
原创 Kylin大数据分析神兽
apache版本安装安装 hbase-1.2.11-bin.tar.gz安装 hive-2.1.0安装 hadoop-2.6.0-cdh安装 zookeeper-3.4.12安装apache-kylin-2.0.0-bin-hbase1x.tar.gz 注意：cdh环境请下载其他版本配置下环境变量直接启动即可mysql远程访问GRANT ALL PR...
2019-12-23 19:24:45
159
原创 rsync远程同步和时间同步
1、基本语法rsync -rvl $pdir/$fname $user@hadoop$host:$pdir/$fname2、xsync集群分发脚本touch xsync.shvim xsync.sh#!/bin/bash# $#：表示传递给脚本或函数的参数个数。#1 获取输入参数个数，如果没有参数，直接退出pcount=$#if((pcount==0));...
2019-12-23 19:24:31
440
原创 Hadoop理论
1、hadoop安全模式NameNode存放的是元数据信息（包括块(block)在哪个位置，所有者，大小等等），元数据信息放到内存中，而内存一断电就会丢失数据，于是产生了映像文件（fsimage）和edits（编辑日志），fsimage会定期合并edits，这时候edits被fsimage合并后，再重新创建一个edits继续写用户的操作日志，避免edits过大，再被fsimage合并时执行时间...
2019-12-23 19:24:23
87
原创 sqoop导入mysql数据到hive表
1、创建orc表并导入mysql数据脚本文件如下：（必须这样写，一行参数，一行值）import--connectjdbc:mysql://node2:3306/sqoop--usernameroot--passwordroot--query'select * from test_1 where id<5 and $CONDITIONS'--fields-term...
2019-12-23 19:24:14
693
原创 centos 6.8安装mysql-5.7.24
一、centos 6 安装mysql5.7.241、卸载linux自带的mysql[root@localhost /]# rpm -qa | grep mysql 查看old mysql[root@localhost /]# rpm -e --nodeps mysql-libs-5.1.52.x86_64 卸载mysql删除相关目录whereis mysql 或者fin...
2019-12-23 19:24:02
233
原创 Hadoop 黑白名单，新节点
1、hadoop动态增加新节点1、添加主机映射 vim /etc/hosts,这里是node4192.168.88.135 master0192.168.88.136 master1192.168.88.137 node1192.168.88.139 node2192.168.88.138 node3192.168.88.145 node42、更改主机名为node4vim ...
2019-12-23 19:23:48
126
原创 hadoop HA搭建
概述hadoop2中NameNode可以有多个（目前只支持2个）。每一个都有相同的职能。一个是active状态的，一个是standby状态的。当集群运行时，只有active状态的NameNode是正常工作的，standby状态的NameNode是处于待命状态的，时刻同步active状态NameNode的数据。一旦active状态的NameNode不能工作，standby状态的NameNode就...
2019-12-23 19:23:40
153
原创 hive HA配置
1、zookeeper、hadoop安装好，启动2、hive-site.xml增加，分发<!-- hive ha --><property><name>hive.server2.support.dynamic.service.discovery</name><value>true</value></pr...
2019-12-23 19:23:32
229
原创 nginx
nginx-v1.15.12生产环境安装1、首先检查依赖,yum install gcc-c++2、下载以下几个tarwget http://www.openssl.org/source/openssl-fips-2.0.10.tar.gzwget http://zlib.net/zlib-1.2.11.tar.gzwget ftp://ftp.csx.cam.ac.uk/pub...
2019-12-23 19:23:25
183
原创 CM搭建
搭建环境必看https://blog.csdn.net/qq_35315256/article/details/88989194环境准备好开始搭建1、所有节点创建mkdir /opt/cloudera-manager创建用户useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM Use...
2019-12-23 19:23:08
182
原创 Hbase简介和安装
hbase简介hbase是一个高可靠性，高性能，面向列，可伸缩，可实时读写的分布式数据库。利用hadoop HDFS作为文件存储系统，利用hadoop MR来处理HBase中的海量数据，利用zk作为分布式协同服务。主要用来存储非结构化和半结构化的松散数据（列存储，NoSQL数据库）ROW KEY决定一行数据，按照字典排序，最大存储64k，太大查询效率极低，row key 设计，加时间...
2019-12-23 19:22:59
119
原创 hadoop2.6.0-cdh5.7.1 snappy库配置和使用
百度网盘链接：hadoop2.6.0-cdh5.7.1 版本的snappy库https://pan.baidu.com/s/1UNXWFq5_eNyqMAaZGO2VcA提取码：52tw1、下载好解压把文件存放到$HADOOP_HOME/lib/native下hadoop checknative -a 检查是否安装成功2、如果全部是false，在hadoop-env.sh...
2019-12-23 19:22:45
169
原创 ElasticSearch——使用Kibana插件练习语法
elasticsearch 插件 kibana查询1、查询集群健康 GET _cat/health2、查询所有索引GET _cat/indices3、查询指定索引(product)指定type(yagao)的所有数据这里的_search是restful的apiGET product/yagao/_search{ "query": { "match_all": {}...
2019-12-23 19:22:42
142
原创 elasticsearch7.2
1、安装配置2、安装遇到的问题2.1、警告：[2019-07-09T06:53:29,541][WARN ][o.e.b.JNANatives ] [node1] unable to install syscall filter: java.lang.UnsupportedOperationException: seccomp unavailable: CON...
2019-12-23 19:22:16
960
原创 大数据环境准备
环境 版本 centos6.8 1、分区安装centoshttps://mp.csdn.net/postedit/853915012、网卡vim /etc...
2019-12-23 19:22:00
178
原创 spark笔记
1、概述一种快速通用的集群计算系统它提供Java，Scala，Python和R中的高级API支持通用执行图的优化引擎SQL和结构化数据的处理，MLlib机器学习，GraphX用于图形处理和spark流-------------------------------------Spark在Windows和类UNIX系统（例如Linux，Mac OS）上运行需要java在系统上安装P...
2019-04-08 09:40:40
149
原创 hive-2.1.0 on tez-0.9.0
tez安装1、把apache-tez-0.9.0-bin.tar.gz上传/usr/local/下cd /usr/local/tar -zxvf apache-tez-0.9.0-bin.tar.gz2、在hdfs上创建文件并上传tez.tar.gzhdfs dfs -mkdir -p /usr/tezhdfs dfs -put tez.tar.gz /user/tez...
2019-01-28 18:51:45
239
原创 hadoop-2.6.0-cdh5.7.1搭建
一、配置ssh、hosts、静态ip、hostname，java环境二、解压 tar -zxvf hadoop，mv改名，配置环境变量bin和sbin 1.hadoop version验证一下三、创建数据存储目录${HAFDOOP_HOME}根据自己的路径写${HAFDOOP_HOME}/data/dfs/name ${HAFDOOP_HOME}/data/df...
2019-01-28 01:51:55
216
原创 hive2.1.0 on spark1.6.0 on yarn配置
spark安装版本：hadoop2.6.0 hive-2.1.0 spark-1.61、编译spark因为hive使用的是apache-hive-2.1.0，不需要spark集成的hive，所以需要自己手动编译spark源码，编译过程大约1个小时。编译前提：安装scala环境,联网，setting配置成阿里云的修改sh脚本，修改一下maven_home,$MAVEN_H...
2019-01-25 11:15:10
343
原创 hadoop
cdh版本下载地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.1.tar.gz一、快速启动本地hadoop1、安装hadoop，必须有java环境，下载hadoop的tar包，大概319m，版本是3.1.12、然后解压，配置环境变量，bin和sbin都配置，然后生效一下，3、专栏管理验证：输入hadoop，显...
2019-01-03 18:08:27
150
原创 Linux centos 6.8 分区安装
分区注意事项1、分区格式化是为了写入文件系统把磁盘格式化成一个一个的等大小数据块，查找文件是根据文件的i节点号找到文件的条款，从而找到数据块拼凑成文件给每一个分区一个设备文件名，并分配挂载点2、硬件信息都在/dev下3、逻辑分区的挂载号永远都是从5开始。主分区和逻辑分区最多之和只能有4个4、swap分区是内存的2倍，最大不能超过2G。虚拟内存分区5、必须分区:...
2018-12-30 16:35:36
2124
原创 Linux命令
----------文件处理----------1、创建文件：touchtouch wang fei 创建2个文件：wang和feitouch “wang fei” 创建一个文件wang fei不建议带空格和特殊字符，linux文件名除了/之外，特殊字符是可以创建的linux执行文件不是根据文件的后缀名，exe无法在linux上执行2、查看文件内容：catcat -n 文件名 ...
2018-12-25 23:20:16
108
原创 SpringCloud(finchley版本)——Eureka
1、搭建Eureka服务器新建一个父项目spring-cloud，依赖如下<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instan...
2018-12-22 21:28:56
192
空空如也
apache hadoop 配置hadoop 启动datanode没有特权
2020-05-26
TA创建的收藏夹 TA关注的收藏夹
TA关注的人