- 博客(82)
- 收藏
- 关注
RSS订阅原创 linux 切换用户报错：This account is currently not available
在用su命令切换用户的时候，报错This account is currently not available。这是因为用户的shell禁止登陆了。方式一：修改/etc/passwd。方式二：使用命令修改。
2023-03-22 11:14:23
4379
1
原创 Python使用pyhive，impala，JayDeBeApi连接Hive（含Kerberos）
Python使用pyhive连接Hive（含Kerberos）Python使用impala连接Hive（含Kerberos）Python使用JayDeBeApi连接Hive
2022-06-16 00:59:58
1289
原创 Presto安装
Presto官网: Presto | Distributed SQL Query Engine for Big Data (prestodb.io)Presto官方安装文档：Deploying Presto — Presto 0.252 Documentation (prestodb.io)**安装Presto:**1、下载presto-server-0.252.tar.gz，上传到Linux 服务器并重命名为prestomv presto-server-0.252.tar.gz presto
2022-01-05 20:19:44
1595
原创 CDH6安装kerberos（一）kerberos概念理解
一. Kerberos概述Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。Hadoop使用Kerberos作为用户和服务的强身份验证和身份传播的基础。Kerberos是一种计算机网络认证协议，它允许某实体在非安
2021-11-30 19:01:22
1593
原创 CDH6安装kerberos（四）kerberos使用示例
一、kerberos管理后台命令：在KDC服务器执行kadmin.local进入kerberos管理[root@cdp101 ~]# kadmin.localAuthenticating as principal admin/[email protected] with password.kadmin.local:在非KDC服务器或KDC服务器非root用户，需要先使用kinit admin/admin认证admin账户后，再执行kadmin进入kerberos管理[flink@cdp10
2021-11-30 18:36:22
2571
1
原创 CDH6安装kerberos（三）CDH集群启用Kerberos
1.在KDC中为CM创建Kerberos管理员主体cloudera-scm/[email protected][root@dev01 ~]# kadmin.local Authenticating as principal root/[email protected] with password.kadmin.local: addprinc cloudera-scm/[email protected]: no policy specified for cloudera-scm/adm
2021-11-30 18:01:52
1991
原创 CDH6安装kerberos（二）kerberos部署
Kerberos部署1.系统环境1）操作系统：CentOS 7.62）CDH6.3.23）采用root用户进行操作4）机器列表：（hadoop1.example.com，hadoop2.example.com，hadoop3.example.com）2.KDC服务安装及配置选择集群中的一台主机（hadoop1.example.com）作为Kerberos服务端，安装KDC，所有主机都需要部署Kerberos客户端。1）在服务端主机执行以下安装命令（服务端主机就是KDC）yum instal
2021-11-30 17:28:41
865
原创 You have new mail in /var/spool/mail/root
解决You have new mail in /var/spool/mail/root提示问题：终端远程登陆后经常提示You have new mail in /var/spool/mail/root这个提示是LINUX会定时查看LINUX各种状态做汇总，每经过一段时间会把汇总的信息发送的root的邮箱里，以供有需之时查看。一般这种情况mail的内容就只是一些正常的系统信息或者是比较重要的错误报告。如果你安装了mutt的话直接用这个命令就可以查看mail的内容（用root登陆先），没有装的话用cat
2021-11-09 19:07:46
878
原创 Linux主机名修改
1、查看主机名hostname或uname –n2、临时修改主机名hostname 新主机名3、永久修改主机名（需重启服务器）Linux版：vi /etc/hostname新主机名Fedora版：vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=新主机名说明：/etc/hostname中存放的是主机名，/etc/hosts存放的是域名与ip的对应关系...
2021-11-09 17:01:50
759
原创 hive建表
create table person(id int,name string,hobbies array<string>,address map<string,string>)partitioned by (spark_load_date STRING) 分区字段row format delimitedfields terminated by ',' 字段之间分隔符collection items te
2021-04-29 16:15:54
164
原创 spark中load数据
1、从本地load（适用于textfile表）load data local inpath '/home/hadoop/cData.txt' overwrite into table dm_user_info partition ( spark_load_date = '20190312');2、从hdfs中load（适用于carbondata表）load data inpath '/home/hadoop/cData.txt' overwrite into table dm_user_info p
2021-04-29 16:05:38
1053
原创 Linux普通用户安装MySql5.7.13详细步骤及解释
Linux普通用户安装MySql5.7.13详细步骤及解释1、下载mysql安装包：百度云地址：2、解压解压mysql5.7到指定的目录tar -zxf mysql-5.7.13-linux-glibc2.5-x86_64.tar.gz -C .3、创建目录在解压后的mysql目录里面执行：mkdir -p ./{data,log,tmp,var,conf}4、配置文件 my.cnf[mysqld]port = 3306
2021-03-25 17:38:08
568
1
原创 Mysql主从配置实例
– mysql 主服务器配置– 1、更改配置[mysqld]log-bin=mysql-binserver-id=1– 2、创建用户mysql > grant replication slave on *.* to 'rep'@'119.3.131.%' identified by '123456';– 3、获取二进制日志的信息并导出数据库mysql > flush tables with read lock;mysql > show master status;+
2021-03-25 17:13:28
198
原创 Kafka基本使用（二）
查看topic列表bin/kafka-topics.sh --bootstrap-server localhost:9093 --list创建topicbin/kafka-topics.sh --create --zookeeper sf01.tendcloud.com:2181 --replication-factor 2 --partitions 2 --topic fl0316查看offsetbin/kafka-run-class.sh kafka.tools.GetOffsetShell
2021-03-16 13:55:37
165
原创 Hadoop3.1.1动态新增datanode节点-实操分享
已有hadoop环境：操作系统：CentOS Linux release 7.7Hadoop版本：3.1.1Java版本：1.8.0_131已有的hadoop节点：namenode：node01namenode：node02datanode:node01datanode:node02datanode:node03datanode:node04datanode:node05新增的hadoop节点：datanode:node06datanode:node07datanode:nod
2021-03-15 16:05:38
682
原创 Linux磁盘挂载详细步骤
步骤一：为数据盘创建MBR分区1、查看实例上的数据盘信息fdisk -l2、创建分区，根据提示创建fdisk -u /dev/vdb3、查看新分区信息fdisk -lu /dev/vdb步骤二：为分区创建文件系统创建一个xfs文件系统mkfs -t xfs /dev/vdb1步骤三：配置/etc/fstab文件并挂载分区1、修改/etc/fstab文件写入新分区信息echo `blkid /dev/vdb1 | awk '{print $2}' | sed 's/\"
2021-02-18 14:45:42
5512
1
原创 Linux磁盘挂载相关命令
blkidmount /dev/vdb1 /home/hadoopumount /dev/vdb1umount /home/hadoopdf -hlsblkcat /etc/fstabcat /etc/mtabfdisk -l
2021-02-18 14:30:12
485
原创 python忽略证书进行https访问接口
1、python直接忽略证书进行https访问（有警告信息）将请求的verify设置为False，详细请求如下：# -*- coding:utf-8 -*-import pymysqlimport sysimport requestsimport sysimport timeimport jsonreload(sys)sys.setdefaultencoding( "utf-8" )def gettoken(): url = 'https://www.td.com/getToke
2021-02-08 17:59:46
4174
1
原创 python使用cer证书进行https访问接口
1、将cer证书转换成pem格式拥有的证书文件：td.cer执行：openssl x509 -in td.crt -out td.pem -outform PE会输出文件td.pem2、https请求时添加verify认证完整请求如下：# -*- coding:utf-8 -*-import pymysqlimport sysimport requestsimport sysimport timeimport jsonreload(sys)sys.setdefaultenco
2021-02-08 17:49:09
2742
1
转载 Hbase配置
Hbase官方手册-配置褚金辉 2017-11-09 18:47:15 3482 收藏分类专栏： hbase HDFS hadoop hadoop 文章标签： hbase hadoop学过上一章快速入门之后，本章详细的介绍hbase的配置。请仔细的阅读本章节，尤其是基本先决条件，保证HBase测试和部署的正常工作，预防数据丢失配置文件hbase和hadoop使用相同的配置系统。所有的配置文件在conf目录下，集群中所有节点中的配置必须保持同步，所有的配置文件如下：backup-masters
2020-12-01 10:18:16
1234
原创 zk添加访问白名单
ZK的节点有5种操作权限：CREATE、READ、WRITE、DELETE、ADMIN 也就是 增、删、改、查、管理权限，这5种权限简写为crwda1.登陆zookeeper进入zookeeper安装目录下的bin目录下执行./zkCli.sh -server ip:port例如:./zkCli.sh -server 10.100.254.107:21812.查看当前权限getAcl /3.添加可访问IPsetAcl / ip:10.100.254.113:cdrwa,ip:10.100
2020-11-20 17:03:25
2722
原创 python启动一个端口供其他服务器访问
python -m SimpleHTTPServer 8080在其他服务器访问该服务器8080端口，验证是否开通。
2020-09-24 13:02:56
1612
原创 python加密字符串
import hashlibimport base64res = ‘121212’print resmd = hashlib.md5(s)res = md.hexdigest()res = base64.b64encode(s)sha = hashlib.sha1(s)res = sha.hexdigest()
2020-08-26 17:17:54
502
原创 linux批量杀掉包含某个关键字的所有进程
ps -ef | grep param | grep -v grep | cut -c 9-15 | xargs kill -9ps x | grep param | grep -v grep | awk ‘{print $1}’ | xargs kill -9
2020-08-20 14:21:07
657
转载 Python在字符串中引用变量
Python在字符串中引用变量在字符串中加入变量有三种方法：1、+ 连字符name = ‘zhangsan’print('my name is '+name)#结果为 my name is zhangsan2、% 字符name = ‘zhangsan’age = 25price = 4500.225print(‘my name is %s’%(name))print(‘i am %d’%(age)+’ years old’)print(‘my price is %f’%(price)
2020-08-03 10:51:46
4254
转载 win10配置jdk环境变量
win10配置jdk环境变量1、首先要打开系统环境变量配置的页面。具体操作是：桌面上找到“此电脑”，然后右键 “属性”。然后打开高级系统配置2、然后在弹出的界面打开环境变量3、在弹出的页面，“系统变量区域”点新建按钮4、在新建页面输入"变量名"位 JAVA_HOME,输入“变量值”为你安装的JDK地址，参考下图5、在系统变量区域，选择"新建按钮"输入"变量名"为CLASSPATH,输入"变量值"为.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar
2020-07-24 17:39:03
210
原创 ES使用curl操作
创建简单索引curl -X PUT “ES_HOST:9200/fltest?pretty”创建复杂索引curl -XPUT “http://ES_HOST:9200/saasfoundation_logs” -H ‘Content-Type: application/json’ -d’索引json’json文件{“settings”:{“number_of_shards”:3,“number_of_replicas”:2},“mappings”:{“properties”:{“appCode”:
2020-07-15 18:42:07
1348
原创 Linux通过名称查找进程并杀死
命令：ps -ef | grep 进程名/启动进程的命令 | grep -v grep | awk ‘{print $2}’ | xargs kill -9
2020-07-13 14:15:43
2151
转载 Mysql主从同步（复制）
Mysql主从同步（复制）目录：mysql主从同步定义 主从同步机制配置主从同步 配置主服务器 配置从服务器使用主从同步来备份 使用mysqldump来备份 备份原始文件主从同步的小技巧排错 Slave_IO_Running: NO Slave_SQL_Running: Nomysql主从同步定义主从同步使得数据可以从一个数据库服务器复制到其他服务器上，在复制数据时，一个服务器充当主服务器（master），其余的服务器充当从服务器（slave）。因为复制是异步进行
2020-07-06 17:38:56
275
原创 Linux查找端口被占用的服务
1.查找被占用的端口netstat -anpnetstat -anp| grep 90962.查看端口被哪个进程占用lsof -i :90963.杀掉占用端口的进程kill -9 进程id
2020-07-06 15:39:40
449
原创 vim快捷键
vi快捷键编辑情况下撤销上次的输入 esc状态，按一次U键 一直按一直撤销删除一行 dd删除十行 10dd 从当前行往下10行i: 在光标所在字符前开始插入a:在光标所在字符后开始插入o:在光标所在行的下面另起一新行插入s:删除光标所在的字符并开始插入I:在光标所在行的行首开始插入 如果行首有空格则在空格之后插入A:在光标所在你行的行尾开始插入O:在光标所在行的上面另起一行开始插入S:删除光标所在行并开始插入？aa从光
2020-05-28 11:27:49
179
原创 mysql在linux执行shell命令获得查询结果去掉字段名
mysql在linux中可以不用进入客户端查询得到结果:[fulei@VM_0_4_centos ~]$ mysql --socket=/home/fulei/mysql/var/mysql.sock -h 122.51.159.155 -utest -ptest qwer -e “select id from test”±—+| id |±—+| 1 || 2 || 3 || 4 |±—+查询结果带了字段名id，去掉字段名可以用-N选项（–skip-column-names(
2020-05-27 16:43:31
1636
原创 mysql用户赋权
创建用户：CREATE USER ‘test’@‘localhost’ IDENTIFIED BY ‘test’;解释：创建test用户，密码是test，允许在mysql服务器登录，如果允许其他服务器连接，localhost改为%赋予用户权限：方法1：grant all on . to ‘test’@‘localhost’ identified by ‘test’;解释：允许test用户在本地连接msql的所有数据库所有表，并有所有权限。grant all on . to ‘test’@’%’
2020-05-27 16:29:58
410
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人