jianmin0920-CSDN博客

原创 Apache Ranger的安装及部署

一.Apache Ranger简介 Apache ranger是一个Hadoop集群权限框架，提供操作、监控、管理复杂的数据权限，它提供一个集中的管理机制，管理基于yarn的Hadoop生态圈的所有数据权限。 Apache Ranger可以对Hadoop生态的组件如Hive，Hbase进行细粒度的数据访问控制。通过操作Ranger控制台，管理员可以轻松的通过配置策略来控制用户访问HDFS文件夹、HDFS文件、数据库、表、字段权限。这些策略可以为不同的用户和组来设置，同时权限可与hadoop...

2021-01-20 11:46:46 2210 1

原创 Linux下升级安装Python-3.6.2版本

Linux下升级安装Python-3.6.2版本本文主要介绍在Linux（CentOS）下将Python的版本升级为3.6.2的方法众所周知，在2020年python官方将不再支持2.7版本的python，所以使用3.x版本的python是必要的，但是linux中默认安装的python一般是2.6和2.7版本的，要是使用linux下的python就很有必要升级一下进入正题1.检查确认系统的相关信息[root@zstest1 ~]# cat /etc/redhat-releaseCentOS re

2021-05-21 09:48:25 248

原创 Hadoop(伪分布式)和Hive的安装

一 hadoop的安装 1.解决本机的免密钥登录问题在root用户在输入 ssh-keygen -t -rsa,连着敲三下,生成本机的密钥,后进入/root/.ssh目录下,将密钥写入到权限文件中,即 catid_rsa.pub >>authorized_keys 2.安装jdk 官网下载jdk后,解压至环境中的某一目录下,后在通过命令 vim /etc/profile,添加如下内容 export JAVA_HOME=/opt/...

2021-01-28 15:47:24 329 1

原创执行脚本

export HIVE_HOME=/opt/install/hive-1.2.2-binfunction insert_into_part(){HIVEHOME/bin/hive−e"use∗∗∗∗∗∗∗;insertoverwritetable∗∗∗∗∗∗∗partition(inserttime=′HIVE_HOME/bin/hive -e "use *******; insert overwrite table ******* partition (

2020-07-08 15:29:27 147

原创 shell实现数据迁移

#!/bin/shexport SQOOP_HOME=/opt/install/sqoop-1.4.7.bin__hadoop-2.6.0export HIVE_HOME=/opt/install/hive-1.2.2-binhostname="..."user=“root”password="******"database=“populcationcensus”table=“AntiepidemicDataIncrement”table1=""curr_max=0function db

2020-07-07 09:24:57 669

原创 sqoop实现数据迁移

sqoop命令中的 \ 后不能接任何空格，否则报错(1)sqoop help 查看命令(2)显示所有库名方式一：sqoop list-databases –connect jdbc:mysql://...:3306 –username root –password 123456方式二：sqoop list-databases –connect jdbc:mysql://...:3306 –username root -P后直接提示通过键盘输入数据库密码(3)显示某个数据库里所有表

2020-07-02 11:53:46 429

原创 Mysql 在线安装

wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpmsudo rpm -ivh mysql-community-release-el7-5.noarch.rpmsudo yum updatesudo yum install mysql-serversudo systemctl start mysqld/...

2020-04-20 20:34:51 104

原创 test

集群虚拟机安装第一步：虚拟机的安装，按照Centos的提示步骤进行操作即可第二步：修改虚拟机的IP地址（1）通过ifconfig命令，查看当年使用的网卡信息（2）切换为root用户，进入路径 /etc/sysconfig/network-scripts/，修改步骤（1）中出现的网卡信息，通过vim命令，新增如下信息ONBOOT=yesIPADDR=192.168.16.150NETM...

2020-04-17 18:00:34 104