2018年10月_九师兄

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载【安全】基于角色的访问控制

RBAC概述基于角色的访问控制（Role-Based Access Control， RBAC ）的核心思想就是将访问权限与角色相联系，通过给用户分配合适的角色，让用户与访问权限相联系。角色是权限的集合，对于一个系统中可以有多个角色，每个角色对不同的资源有不同的权限，当用户访问资源时，首先系统识别用户的角色，然后决定该用户是否具有访问该资源的权限。角色是一种抽象的概念，将用户权限从每个单一用户...

2018-10-31 19:29:49 3054

原创【安全】导入本地linux用户到LDAP中

1.搭建LDAP环境参考：https://blog.csdn.net/qq_21383435/article/details/83313824可以看到界面只有管理员用户2.安装migrationtools工具2.1 安装# yum install migrationtools -y2.2 配置修改默认域名根据实际情况修改/usr/share/migrationtools/mi...

2018-10-31 11:56:33 2076 1

原创【安全】通过LAM(ldap-account-manager)来管理OpenLDAP

ldap-account-manager

2018-10-29 15:35:53 8081

原创 tar (child): lbzip2: Cannot exec: No such file or directory 解决方法

tar (child): lbzip2: Cannot exec: No such file or directory 解决方法今天用tar命令解压文件的时候出错了，信息如下：tar (child): lbzip2: Cannot exec: No such file or directory tar (child): Error is not recoverable: exiting no...

2018-10-29 14:46:29 8531 2

转载【安全】Kerberos协议介绍

文章目录1.概述2. 认证过程2.1 举例3. 协议内容4. 缺陷1.概述Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。2. 认证过程认证过程具体如下：客户机向认证服务器（AS）发送请求，要求得到某服务器的证书然后 AS 的响应包含这些用客户端密钥加密的证书。证书的构成为： ...

2018-10-28 09:58:48 1418

原创 hive权限

创建和删除角色 CREATE ROLE ROLE_NAME删除角色： DROP ROLE ROLE_NAME把role_test1角色授权给jayliu用户，命令如下 grant role role_test1 to user jayliu;查看jayliu用户被授权的角色，命令如下： SHOW ROLE GRANT user jayliu;取消jayliu用户的role_test1角色，...

2018-10-27 15:16:01 732

原创【Sentry】为什么Cloudera要创建Hadoop安全组件Sentry？

1. 大数据的安全体系要说清楚这个问题，还得从大数据平台安全体系的四个层次说起：外围安全、数据安全、访问安全以及访问行为监控；如下图所示；外围安全技术多指传统意义上提到的网络安全技术，如防火墙，登陆认证等；数据安全从狭义上说包括对用户数据的加解密，又可细分为存储加密和传输加密；还包括用户数据的脱敏，脱敏可以看做“轻量级”的数据加密。如某人的生日为“2014-12-12”，脱敏后的数据为“...

2018-10-25 23:49:54 1118

原创【Sentry】Sentry安装

Sentry安装使用Cloudera Manager来安装，非常简单，需要注意的是安装前要在/opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/jars目录下放入MySQL的驱动包。

2018-10-25 23:37:28 1063 1

原创【hadoop】Apach Hdoop 安全模式

Hadoop安全模式是一种内置的保护机制，主要用于确保Hadoop分布式文件系统（HDFS）在启动初期的数据块分布和完整性得到校验。当Hadoop集群或NameNode启动时，系统会自动进入安全模式。数据块检查：Hadoop会检查数据块在DataNodes上的分布情况，确保每个数据块都有足够的副本（根据配置的最小副本数），并且没有过量的副本。这是通过比较实际的数据块分布与NameNode内存中维护的元数据信息来完成的。副本修复。

2018-10-25 23:06:23 471 1

转载【hadoop】CDH Sentry介绍

Apache Sentry是Cloudera公司发布的一个Hadoop开源组件，截止目前还是Apache的孵化项目，它提供了细粒度级、基于角色的授权以及多租户的管理模式。、Apache Solr 和Cloudera Impala集成，未来会扩展到其他的Hadoop组件，例如HDFS和HBase。

2018-10-25 23:03:02 7588 1

原创 beeline使用

1.不配置用户名密码beeline connect有几种方式，见hive-site.xml,缺省为NONE。&amp;lt;property&amp;gt; &amp;lt;name&amp;gt;hive.server2.authentication&amp;lt;/name&amp;gt; &amp;lt;value&amp;gt;NONE&

2018-10-25 17:53:22 9086 2

原创 hive界面

Hive从2.0版本开始，为HiveServer2提供了一个简单的WEB UI界面，界面中可以直观的看到当前链接的会话、历史日志、配置参数以及度量信息。默认配置配置web ui 界面非常简单，两个参数： <property> <name>hive.server2.webui.host</name> <value>0.0.0.0&...

2018-10-25 16:00:55 2137

原创 cdh集群的重启过程

文章目录1. 查看状态1. 查看状态[root@cdh-server1 ~]# /opt/third/cm/etc/init.d/cloudera-scm-server statuscloudera-scm-server dead but pid file exists如果出现cloudera-scm-server dead but pid file exists，我们要删除[ro...

2018-10-24 16:17:58 1626

原创【安全】phpldapadmin-1.2.3 界面使用

文章目录1.新建用户组2.新建用户1.新建用户组选择新建组点击创建对象，组名自己随便写点击提交可以看到左边出现了组（如果没有的话，退出重新登录）2.新建用户填写成员信息1.是不用写的，2是必须写的，5添加用户的密码，6选择添加到哪个组下，8选择使用的shell可以看到新建成功了，一个组员信息（如果过程对，没出错，还没有，退出重新登录），这里不知道为什么是两个...

2018-10-24 13:40:57 1935

原创【安全】This base cannot be created with PLA.

配置OpenLDAP，在配置过程中安装了OpenLDAP的管理工具phpldapadmin后，发现无法添加OU，Group、Account等，显示为如下结果：经过查询，最终总结和处理如下：1、首先需要在/etc/openldap/目录下，创建一个base.ldif文件，如下所示：[root@cdh-server2 openldap]# pwd/etc/openldap[root@cdh...

2018-10-23 19:53:37 5256 4

原创【安全】Docker安装LDAP

docker pull osixia/openldap:1.2.2docker run --name my-openldap-container --detach osixia/openldap:1.2.2cc@lcc ~$ docker psCONTAINER ID IMAGE COMMAND CREAT...

2018-10-23 19:45:43 4422

原创 Linux下安装python 2.7.13

1.下载[root@cdh-server1 ~]# pwd/root[root@cdh-server1 yum-3.2.28]# wget https://www.python.org/ftp/python/2.7.9/Python-2.7.9.tgz2、解压、编译安装（依次执行以下5条命令）[root@cdh-server1 ~]# tar -zxvf Python-2.7.9.t...

2018-10-22 20:54:21 2345

原创【hadoop】java.io.IOException: No FileSystem for scheme: hdfs

异常 java.io.IOException: No FileSystem for scheme: hdfs我是想用hive的sql解析方法解析sql，测试类是可以运行的，但是使用java -cp jar包运行就报这个错。hadoop解决：conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem")...

2018-10-22 13:36:50 2855 1

原创使用Docker搭建hadoop集群

1.获取镜像lcc@lcc ~$ docker pull registry.cn-hangzhou.aliyuncs.com/kaibb/hadoopUsing default tag: latest# 差看镜像lcc@lcc ~$ docker imagesREPOSITORY TAG ...

2018-10-20 16:50:01 2719

原创 Docker 安装 Tomcat

Docker 安装 Tomcat

2018-10-20 13:57:25 937

原创 docker目录

文章目录软件安装docker安装软件（vim,service）MySQL安装容器容器查看与删除如何获取 docker 容器(container)的 ip 地址软件安装docker安装软件（vim,service）https://blog.csdn.net/qq_21383435/article/details/83186813MySQL安装Docer安装MySQL并且远程登录ht...

2018-10-19 20:05:22 937

原创 docker安装软件（vim,service）

1. 更新root@804d20b31f6a:/# apt-get update不更新会报错root@804d20b31f6a:/# apt-get install vimReading package lists... DoneBuilding dependency treeReading state information... DoneE: Unable to locate ...

2018-10-19 19:11:26 684

原创如何获取 docker 容器(container)的 ip 地址

1. 进入容器内部后lcc@lcc ~$ docker exec -it docker_mysql bashroot@b3b1d61142df:/#root@b3b1d61142df:/# cat /etc/hosts127.0.0.1 localhost::1 localhost ip6-localhost ip6-loopbackfe00::0 ip6-localnetff00:...

2018-10-19 17:49:41 2253

原创 java代码使用Pair元组-运行可以-编译失败

文章目录1.概述2.场景21.概述maven编译的时候报错ERROR] COMPILATION ERROR : [INFO] -------------------------------------------------------------[ERROR] /Users/lcc/IdeaProjects/dubhe-node/dubhe-node-provider/src/main/java/com/dtwave/dipper/dubhe/node/fs/FileSystemFactory

2018-10-19 16:14:45 1708

原创容器查看与删除

lcc@lcc ~$ docker psCONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMESad424be7a46b my...

2018-10-19 14:59:51 1744

原创【Docer】Docer安装MySQL并且远程登录

0.0.0.0:3317->3306/tcp的意思是将宿主机的3317端口映射到docker容器的3306端口（外界访问3317端口就是访问docker里面的Mysql）docker run 只在第一次运行时使用，将镜像放到容器中，以后再次启动这个容器时，只需要使用命令docker start 即可。获取docker容器的ip是没有用的，mac下ping不通。试试看，注意这里查看docker容器的ip是没有用的。可看到root用户是%，也就是可以直接远程连接的，这里我们拉取官方的镜像,标签为5.6。

2018-10-19 14:20:21 820 1

原创 hive 压缩编码

文章目录1. hadoop 压缩编码1.1 MR支持的压缩编码2、编码/解码器3、压缩性能的比较4、压缩配置参数1. hadoop 压缩编码1.1 MR支持的压缩编码压缩格式工具算法文件扩展名是否可切分DEFAULT无DEFAULT.deflate否GzipgzipDEFAULT.gz否bzip2bzip2bzip2.bz2是...

2018-10-19 10:25:04 706

原创 Hive文件格式

hive文件存储格式包括以下几类：TEXTFILESEQUENCEFILERCFILEORCFILE(0.11以后出现)其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理；SEQUENCEFILE，RCFILE，ORCFILE格式的表不能直接从本地文件导入数据，数据要先导入到textfile格式的表中，然后再从表中用i...

2018-10-18 19:47:34 1401 2

原创 NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object

Exception in thread &quot;main&quot; java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object; at akka.actor.setup.ActorSystemSetup$.$anonfun$apply$1(ActorSystemSetup.scala:39...

2018-10-18 18:02:40 4139

原创 hadop 查看DataNode的资源使用情况信息（web接口）

文章目录1.概述2. 配置3. 实例1.概述2. 配置3. 实例自己搭建一个hadoop本地集群后，访问http://localhost:8088/ws/v1/cluster/metrics<?xml version="1.0" encoding="utf-8"?><clusterMetrics> <appsSubmitted>0</...

2018-10-18 10:40:18 4036

原创 datanode Unhealthy Nodes

简介：今天单机启动hadoop发现，datanode存在，但是页面上却显示Unhealthy Nodes1.现象2.原因当磁盘数少于一定量时，会把这台机器变成unhealthy，将不会再给这台机器分配任务。yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage90...

2018-10-17 22:20:45 1114

原创 springboot+mybatis日志显示SQL

在springBoot+Mybatis日志显示SQL的执行情况的最简单方法就是在properties新增：logging.level.com.dy.springboot.server.mapper=debug注意：其中logging.level.com.你的Mapper包=日志等级...

2018-10-17 21:13:27 4167

原创 mvn使用assembly打包所有的moudle为一个tgz文件

1.文件目录如下首先建立LccTest项目，然后建立两个moudle，分别为test1,test2在/Users/lcc/IdeaProjects/LccTest/pom.xml文件中&lt;?xml version="1.0" encoding="UTF-8"?&gt;&lt;project xmlns="http://maven.apache.org/POM/

2018-10-15 17:59:06 1206

原创 Linux Shell 读取用户输入

在Linux Shell下读取用户输入可以使用read命令。用法：echo "Input something:"read inputecho "Your input is: $input"运行结果：Input something:hahahaYour input is: hahaha

2018-10-14 21:08:28 5919

原创 sed: sed command a expects followed by text

在mac osx lion中sed来进行文件内容的替换操作，使用命令为：sed -i 's/oldstring/newstring/g' full-path-file执行后提示出错，错误信息为：“sed: 1: command a expects \ followed by text”，但是相同的命令拿到centos下确能执行成功。使用man查看命令的参数详细说明，两个系统下对参数“i”的...

2018-10-14 18:33:38 1469

原创 linux bash 的文件查找替换文件操作

文章目录1. sed命令1.1 简介1.1.1 删除：d命令1.1.1 替换：s命令2. 典型用法2.1 sed 查找某行，关键字，并且替换一行简介：我现在Mac系统上，有多个版本的hadoop，多个版本的hive，开发的时候需要排列组合。每次都修改配置，很麻烦，所有我想写个shell脚本，帮我自动化配置各种版本，主要是对.bash_profile文件的查找与替换1. sed命令1.1 简...

2018-10-14 18:26:00 1502

原创 datx 开启debug

1. datax源码编译编译mvn -U clean package assembly:assembly -Dmaven.test.skip=true2.创建mysql测试表SET FOREIGN_KEY_CHECKS = 0;-- ------------------------------ Table structure for `users`-- ------------...

2018-10-13 11:44:33 1585

原创 java.lang.ClassNotFoundException: org.apache.htrace.SamplerBuilder

aused by: java.lang.ClassNotFoundException: org.apache.htrace.SamplerBuilderat java.net.URLClassLoader.findClass(URLClassLoader.java:381)at java.lang.ClassLoader.loadClass(ClassLoader.java:424)at s...

2018-10-12 20:32:35 2766 1

原创 mac电脑LC_CTYPE: cannot change locale (UTF-8): No such file or directory

向拷贝本地代码到服务器，但是拷贝失败lcc@lcc target$ scp /Users/lcc/IdeaProjects/AllTest/hive_test/target/hive_test-1.0-SNAPSHOT.jar root@ip:/root/root@10.0.120.161's password:/etc/profile.d/lang.sh: line 19: warn...

2018-10-11 20:13:26 3923 2

原创 Oracle match_recognize

CREATE TABLE Ticker (SYMBOL VARCHAR2(10), tstamp DATE, price NUMBER);INSERT INTO Ticker VALUES(‘ACME’, DATE ‘2011-04-01’, 12);INSERT INTO Ticker VALUES(‘ACME’, DATE ‘2011-04-02’, 17);INSERT INTO T...

2018-10-10 15:52:11 1863