- 博客(13)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 shell 变量
shell变量？用一个特定的字符串去表示不固定的内容变量的类型：1.自定义变量定义变量：变量名=变量值 变量名必须以字母或下划线开头，区分大小写 如：ip1=192.168.43.166引用变量：$变量名 或 ${变量名}查看变量：echo $变量名 set（所有变量：包括自定义变量和环境变量）取消变量：unset 变量名作用范围：仅在当前shell中有效2.环境变量定义环境变量：方法一 export back_dir2=/home/backup方法二 export ip1 将自
2020-05-28 20:10:20
180
转载 CentOS Linux系统Python3安装
本文的方法是在CentOS上新装了python3，如果本机安装了python2则保留，因为可能有程序依赖目前的python2环境，比如yum！！！！！一、安装python3.7安装依赖环境yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel如果有报：No m
2020-05-25 22:22:34
261
转载 hive常用参数配置设置
hive.exec.mode.local.auto决定 Hive 是否应该自动地根据输入文件大小，在本地运行（在GateWay运行）truehive.exec.mode.local.auto.inputbytes.max如果 hive.exec.mode.local.auto 为 true，当输入文件大小小于此阈值时可以自动在本地模式运行，默认是 128兆。134217728Lhive.exec.mode.local.auto.tasks.max如果 hive.exec.mode.local.
2020-05-24 14:48:46
988
转载 Oracle基本SQL语句
删除表：drop table 表名修改表结构：删除列：alter table 表名 drop column 列名增加列：alter table 表名 add(列名 数据类型, 列名 数据类型.....)修改列的数据类型：alter table 表名 modify(列名 数据类型)主键（Primary Key–PK）：主键在表中能够唯一表示一条记录的字段，主键唯一并且不能为空。外键（Foreign Key–FK）：外键主要用来维系多表之间的关联关系，一张表中的外键，必定是另一张表中
2020-05-19 16:00:06
281
原创 Oracle数据库忘记密码或即使密码对的也登不上解决办法
首先忘记密码解决办法：1.打开cmd窗口命令框输入：echo %ORACLE_SID%2.如果你输入后没有显示说明你的电脑系统环境变量没配置配置下下面红框类容：或者直接在cmd窗口中设置也可以：3.执行sqlplus / as sysdbaOK！登录成功4.修改用户名和密码执行alter user you_username identified by you_password;到这边就可以使用新配置的用户名和密码登录了5.如果第三步遇到下面错误或者是cmd窗口能登陆了，但是
2020-05-19 12:28:56
1995
原创 hive误删内部表如何恢复
测试删除hive内部分区表找回：删除前数据查看hive (default)> select * from test3 where statis_date='2020-05-17';OKclo1 clo2 clo3 clo4 statis_datezhangsan jiangsu lisi anhui 2020-05-17sunce dongwu daqiao dongwu 2020-05-17zhouyu dongwu xiaoqiao dongwu 2020-05-17wangwu
2020-05-18 23:03:33
2608
转载 SQL 规范
一、 基础规范推荐使用InnoDB存储引擎支持事务、行级锁、并发性能更好、CPU及内存缓存页优化使得资源利用率更高使用UTF8字符集万国码，无需转码，无乱码风险，节省空间数据表、数据字段必须加入中文注释高并发场景下禁止使用存储过程、视图、触发器、Event高并发大数据的互联网业务，架构设计思路是“解放数据库CPU，将计算转移到服务层”，并发量大的情况下，这些功能很可能将数据库拖死，业务逻辑放到服务层具备更好的扩展性，能够轻易实现“增机器就加性能”。数据库擅长存储与索引，CPU计
2020-05-15 13:11:50
433
转载 explain 中ken_len作用
explain 中key_len的作用key_len越小 索引效果越好！key_len的长度是如何计算的？name的字段类型是varchar(20)，字符编码是utf8，一个字符占用3个字节，那么key_len应该是 20*3=60。key_len的长度计算公式：varchr(10)变长字段且允许NULL = 10 * ( character set：utf8=3,gbk=2,latin1=1)+1(NULL)+2(变长字段)varchr(10)变长字段且不允许NULL = 10 *
2020-05-15 11:43:28
822
转载 HBase如何批量删除指定数据
Hbase如何批量删除指定数据有时我们需要批量删除一些hbase中符合某些条件的数据，本文提供一种简单的shell命令的方式批量删除hbase里的数据。思路就是，建立hive与hbase的关联表，通过hive sql查询出符合条件的数据rowkey导出到本地文件，然后通过hbase shell批量删除。示例如下:1 创建hbase 表#创建表名为“test:user_blacklist”,列簇名为“user”的hbase表#hbase 表create 'test:user_blacklist',
2020-05-14 12:36:55
1791
转载 HBase 1.X API
package com.enda;import java.util.ArrayList;import java.util.Iterator;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellScanner;import org.apache.hadoop.hbase.H
2020-05-14 12:24:41
168
转载 HBase Shell手动移动Region
在生产环境中很有可能有那么几个Region比较大，但是都运行在同一个Regionserver中。这个时候就需要手动将region移动到负载低的Regionserver中。步骤：1、找到要移动的region，记录红框的id值，这个是唯一的region ID2.查看RegionServer列表，并记录ip、端口、startcode#明显读请求不均衡3.我们需要将部分region移动到dn3这台RegionServer上。例如： mine:t_match_odds,"""""""",145699
2020-05-13 11:26:34
598
1
原创 Maven项目创建
1.配置eclipse的maven插件点击菜单栏Window–>Preferences–>左边菜单栏选择maven主要配置配置2处：第一处添加自己下载的maven安装包解压后的地址注意配置好了后需要像图1一样打钩第二处是指定maven的 sittings.xml文件配置的地址是在上个配置的地址的conf目录下的sittings.xml2.创建maven右击项目栏空白处选择new Project创建完毕maven的项目结构如果你创建后发现报错：Descrip
2020-05-08 19:56:22
158
原创 Linux查看mysql用户和组
1.查看是否存在MySQL组：[root@hadoop03 ~]# grep mysql /etc/groupmysql:x:501:注：mysql是组名，x是密码段，表示没有设置密码，501表示的是GID(组id)2.不存在创建MySQL组：#创建mysql组[root@hadoop03 ~]# groupadd -g 27 mysql02#查看mysql组[root@hado...
2020-05-04 17:21:31
6034
空空如也
大表 left join 小表时产生数据倾斜怎么处理？
2019-07-15
TA创建的收藏夹 TA关注的收藏夹
TA关注的人