- 博客(58)
- 收藏
- 关注
RSS订阅转载 linux之使用md5sum命令比较两个文件是否一样
1、md5sum命令介绍md5sum命令用于生成和校验文件的md5值。它会逐位对文件的内容进行校验。是文件的内容，与文件名无关，也就是文件内容相同，其md5值相同2、比较文件1）、生产文件的md5md5sum file1md5sum file2会有结果显示2）、批量生成md5文件md5sum *3)、二进制模式读入和文本读入内容-b 以二进制模式读入内...
2019-04-30 16:07:36
2233
转载 centos6.9 Crontab(定时任务)详解
安装crontab:yum install crontabs说明：service crond start //启动服务service crond stop //关闭服务service crond restart //重启服务service crond reload //重新载入配置查看crontab服务状态：service crond status手动启动crontab服务：s...
2019-04-30 14:18:54
836
转载 Linux cached过高问题
Linux手动释放缓存的方法Linux释放内存的命令：syncecho 1 > /proc/sys/vm/drop_cachesdrop_caches的值可以是0-3之间的数字，代表不同的含义：0：不释放（系统默认值）1：释放页缓存2：释放dentries和inodes3：释放所有缓存释放完内存后改回去让系统重新自动分配内存。echo 0 >/proc/sys/v...
2019-04-30 09:32:52
292
转载 Linux系统内存：cached过大
[root@yunapp2 ~]# free -h total used free shared buffers cachedMem: 31G 19G 11G 172K 264M 11G-/+ buffers/cache: 7...
2019-04-29 10:06:31
1169
转载 关于linux内存cached过高释放一例
今天在做zabbix硬件监控的时候，老是出现段错误的提示，仔细检查发现原来是是不是我的内存不够了呢：参数说明：total : 物理内存的总大小used ：已经使用的内容shared：共享的内存大小buffers:缓冲区内存：（磁盘块的读写频繁,linux内存机制做缓冲池）cached:也是缓冲区内存（主要是在文件读写频繁的时候对文件进行缓存）一般我们主要看fr...
2019-04-29 10:05:59
1194
转载 hadoop上安装hive2.3.2学习总结—hive安装+mysql以及碰到坑点
一、环境准备hapdoop版本：基于hadoop2.8.1，本教程是基于hadoop2.8.1上安装的hivehive版本：apache-hive-2.3.2-bin.tar.gz二、安装配置hive+mysql（远程模式）1、首先安装好mysql数据库2、去hive官网下载hive安装包：apache-hive-2.3.2-bin.tar.gztar -zxvf apache...
2019-04-29 09:08:56
606
转载 Hive的内置服务和hiveserver/hiveserver2的比较
一：Hive的几种内置服务执行bin/hive --service help 如下：[master@master1 hive]$ bin/hive --service helpls: 无法访问/opt/spark/lib/spark-assembly-*.jar: 没有那个文件或目录Usage ./hive <parameters> ...
2019-04-29 09:08:11
441
转载 beeline通过HiveServer2访问Hive的配置和操作
１. 前言作为数据仓库的工具，hive提供了两种ETL运行方式，分别是通过Hive 命令行和beeline客户端；命令行方式即通过hive进入命令模式后通过执行不同的HQL命令得到对应的结果；相当于胖客户端模式，即客户机中需要安装JRE环境和Hive程序。beeline客户端方式相当于瘦客户端模式，采用JDBC方式借助于Hive Thrift服务访问Hive数据仓库。HiveThr...
2019-04-29 09:06:32
686
转载 关于 HIVE Beeline 问题
1 启动hiveserver2 服务，启动beeline -u jdbc:hive2:// 正常 ，启动beeline -u jdbc:hive2://127.0.0.1:10000 包如下错误Error: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteExcept...
2019-04-28 17:25:37
606
转载 HBase Rowkey 设计指南
文章目录1为什么Rowkey这么重要 1.1RowKey 到底是什么 1.2RowKey的作用 1.3Rowkey对查询的影响 1.4Rowkey对Region划分影响 2RowKey设计技巧 2.1避免热点的方法 - Salting 2.2避免热点的方法 - Hashing 2.3避免热点的方法 - Reversing 2.4RowKe...
2019-04-25 17:04:55
285
转载 ORACLE VARCHAR2最大长度问题
VARCHAR2数据类型的最大长度问题，是一个让人迷惑的问题，因为VARCHAR2既分PL/SQL Data Types中的变量类型，也分Oracle Database中的字段类型。简单的说，要看你在什么应用场景下，否则难以回答VARCHAR2数据类型的最大长度问题。ORACLE数据库字段类型关于Oracle Database中的字段的VARCHAR2类型的最大长度，我们先看下面的例子：...
2019-04-25 15:53:08
2814
转载 oracle数据库中varchar2陷阱
oracle数据库相信大家都比较熟悉，数据库中有一种非常常用的数据类型：字符串型。 对应该类型，在oracle中有三种比较常用的类型：varchar2(byte)、varchar2(char)、nvarchar2()。 那么这三种类型到底有什么区别呢？ 首先，我们要时刻记清：无论是varchar2还是nvarchar2，最大字节数都是40...
2019-04-25 15:40:50
220
转载 oracle中varchar2的储存长度
varchar2最大是4000字节，那么就看你的oracle字符集：（select userenv(‘language’) from dual;）如果字符集是16位编码的，ZHS16GBK，那么每个字符16位，2字节，所以可以容纳2000字符。如果是32位编码的字符集，那么只能存储 1000个字符。例如：varchar(50) 表示该字段类型为varchar2类型，长度为50，可...
2019-04-25 15:35:32
2075
转载 CLOB、BLOB ， CLOB与BLOB的区别
CLOB定义 数据库中的一种保存文件所使用的类型。 Character Large Object SQL 类型 CLOB 在 JavaTM 编程语言中的映射关系。SQL CLOB 是内置类型，它将字符大对象 (Character Large Object) 存储为数据库表某一行中的一个列值。默认情况下，驱动程序使用 SQL locator(CLOB) 实现 Clob 对象，这意...
2019-04-25 15:10:02
6976
原创 修改Oracle表某字段精度
直接修改，会提示需要先清空该列的值，在Oracle数据库的表中有数据时，我们想要修改表的字段精度，可以按照如下步骤解决：第一步：备份要修改的表数据create table ACC_TRANSPORTLOAN_BAK as select * from ACC_TRANSPORTLOAN;select count(*) from ACC_TRANSPORTLOAN;select count(...
2019-04-25 11:08:34
1792
转载 数据文件头块保留大小、ROWID、数据文件最大大小等数据库限制的说明
学习自EYGLE循序渐进ORACLE及官方文档。本地管理表空间中设置不同大小的db_block_size时数据文件头保留空间对应如下：db_block_size=2KB，文件头保留32个数据块，即64KB。db_block_size=4KB，文件头保留16个数据块，即64KB。db_block_size=8KB，文件头保留8个数据块，即64KB。db_block_size=16KB，文件...
2019-04-25 10:40:40
462
转载 如何理解USING INDEX?
正确答案：B一、USING INDEX的实验：1、USING INDEX可以让你在创建主键、唯一性约束的时候使用指定的索引或创建索引、或修改索引的存储结构。ＯＫ，我先不用USING INDEX，创建主键时Oracle自动创建唯一索引。gyj@MYDB> alter table emp add constraint emp_id_pk primary key(empl...
2019-04-25 10:38:39
11582
2
转载 ORACLE利用序列实现ID自增
1、仅使用序列产生自增主键序列（Sequence）是一种可以被多个用户使用的用于产生一系列唯一数字的数据库对象。序列定义存储在数据字典中，通过提供唯一数值的顺序表来简化程序设计工作，可以使用序列自动产生主键的键值。当一个序列第一次被查询调用时，它将返回一个预定值。在随后的每次查询中，序列将产生一个按指定的增量增长的值。序列可以循环，或者是连续增加的，直到指定的最大值为止。创建序列语法如下：c...
2019-04-25 09:38:54
498
转载 asmcmd error -- clsecho: No such file or directory
Question:when using asmcmd ,encounter the error:[cdccrs@node01 ~]$ asmcmdsh: /u01/app/base/product/12.1.0/dbhome_1/bin/clsecho: No such file or directorysh: /u01/app/base/product/12.1.0/dbhome_1...
2019-04-24 13:45:20
2733
转载 Hadoop、Hbase、Hive和zookeeper版本匹配关系
Hadoop平台中各个组件的版本匹配非常重要！不是所有组件都下载最新版本就好，版本不匹配和引发各种问题。Hadoop和Hbase的匹配关系可以查看Hbase官方文档，搜索‘Hadoop version support matrix’：http://hbase.apache.org/book.html#basic.prerequisitesHadoop和Hive的匹配关系查看Hiv...
2019-04-24 09:37:57
1009
转载 Spark-Hadoop、Hive、Spark 之间是什么关系？
大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性，虽然奇怪的组合也能工作，但是未必是最佳选择。大数据，首先你要能存的下大数据。传统的文件系统是单机的，不能横跨不同的机...
2019-04-24 09:25:29
307
1
转载 HIVE和HBASE区别
1. 两者分别是什么？Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。Apache HBase是一种Key/V...
2019-04-24 09:13:23
180
转载 CentOS7使用firewalld打开关闭防火墙与端口
1、firewalld的基本使用启动： systemctl start firewalld关闭： systemctl stop firewalld查看状态： systemctl status firewalld开机禁用 ： systemctl disable firewalld开机启用 ：systemctl enable firewalld2.syste...
2019-04-23 13:58:01
256
转载 linux下普通用户开机自启动tomcat
1、使用ceshi用户开机自启动tomcat，首先配置ceshi用户的java环境变量[ceshi@lxftest1 ~]$ vi .bash_profileexport JAVA_HOME=/opt/jdk1.5.0_21export CLASSPATH=.:$JAVA_HOME/jre/lib.rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/li...
2019-04-23 13:41:53
1125
转载 Linux实现开机自动运行普通用户脚本
既然要实现开机自动运行脚本，那么就与Linux开机自启服务的原理有关；Linux开机的时候，会有一步读取/etc/inittab配置文件，选定系统运行级别，然后进行系统初始化，执行/etc/rc.d/下的rc脚本；而其中/etc/rc.d/rc.local自启动脚本是Linux留给用户自定义个性启动项的一个脚本。你只要打开这个脚本文件，看上面的解释，很明显的告诉你这个脚本文件的作用。用户可以在这...
2019-04-23 13:40:44
9462
转载 在Linux中以普通用户开机自动运行脚本程序
测试环境：CentOS6.5管理员：root普通用户：test1实现目标：在Linux启动时，以普通用户test1自动运行位于根目录下的脚本程序test.py，该程序会在每次执行时自动向本地日志文件追加一条记录，源码如下：from datetime import datetimenow=datetime.now()f=open('test.log','a')f.write('...
2019-04-23 13:37:27
1656
转载 mysql存储过程的权限 definer
mysql中用户对存储过程的权限有：ALTER ROUTINE 编辑或删除存储过程CREATE ROUTINE 创建存储过程EXECUTE运行存储过程存储过程的创建者拥有存储过程的ALTER、CREATE、EXECUTE权限。详细实验后续补充。DEFINER用于指明存储过程是由哪个用户定义的，默认存储过程的定义者是存储过程，跟存储过程的使用权限无关。IN...
2019-04-22 14:55:26
368
原创 mysql explicit_defaults_for_timestamp 变量的作用
mysql 中有这样的一个默认行为，如果一行数据中某些列被更新了，如果这一行中有timestamp类型的列，那么么这个timestamp列的数据也会被自动更新到 更新操作所发生的那个时间点；这个操作是由explicit_defaults_for_timestamp这个变更控制的一、体验一下mysql的默认更新行为：mysql> create table t(x int ,y times...
2019-04-20 20:59:00
385
原创 Redis-5.0.3 Sentinel主从切换的集群管理
Redis单点时，当一台机器挂机了，redis的服务完全停止，这时就会影响其他服务的正常运行。下面利用redis sentinel做一个主从切换的集群管理。下面两段官方的说辞：Redis Sentinel provides high availability for Redis. In practical terms this means that using Sentinel you ...
2019-04-19 15:44:39
406
原创 Redis 第五集持久化方案RDB与AOF(Redis)
Redis 第五集持久化方案RDB与AOF(Redis)二、Redis两种持久方案Reids持久化准备工作，先配置Linux系统参数保证Redis缓存能写入到dbfinename文件和appendfilename文件中,解决Redis服务器重启后数据消失的问题。有三种方式修改内核参数，但要有root权限：（1）编辑/etc/sysctl.conf，改vm.overcommit...
2019-04-19 15:43:11
294
转载 修改lower_case_table_names产生的问题
1、参数含义：lower_case_table_names： 此参数不可以动态修改，必须重启数据库lower_case_table_names = 1 表名存储在磁盘是小写的，但是比较的时候是不区分大小写lower_case_table_names=0 表名存储为给定的大小和比较是区分大小写的lower_case_table_names=2, 表名存储为给定的大小写但是比较的时候是小...
2019-04-18 11:05:44
1252
转载 查询存储引擎为MyISAM的表
select table_catalog ,table_schema ,table_name ,enginefrom information_schema.tableswhere engine='MyISAM';
2019-04-17 10:20:53
1027
转载 Oracle 11g导出空表、少表的解决办法
本文引用自：http://www.cnblogs.com/ningvsban/p/3603678.html ORACLE 11G中有个新特性，当表无数据时，不分配segment，以节省空间。解决方法： 1）insert一行，再rollback就产生segment了 该方法是在在空表中插入数据，再删除，则产生segment。导出时则可导出空表。 2）设置deferred_se...
2019-04-16 17:25:34
238
转载 Oracle 11g的Deferred Segment Creation
本文引用自：https://www.cnblogs.com/ningvsban/p/3603897.html 本篇主要介绍Oracle 11g中推出的“延迟段创建”（Deferred Segment Creation）特性，以及当我们使用这种特性时，需要注意的问题。 1）Deferred Segment Creation 在Oracle中，“表空间（Tablespace）、段（Seg...
2019-04-16 17:23:22
324
转载 mysql的sql_mode合理设置
mysql的sql_mode合理设置sql_mode是个很容易被忽视的变量，默认值是空值，在这种设置下是可以允许一些非法操作的，比如允许一些非法数据的插入。在生产环境必须将这个值设置为严格模式，所以开发、测试环境的数据库也必须要设置，这样在开发测试阶段就可以发现问题sql_mode常用值如下：ONLY_FULL_GROUP_BY：对于GROUP BY聚合操作，如果在SELEC...
2019-04-16 13:18:39
182
转载 MySQL表名区分大小写设置
关闭MySQL服务 在服务运行目录找到my.ini或者my.cnf文件 打开文件，找到[mysqld]在下面增加一行 lower_case_table_names=0 （0:大小写敏感;1:大小写不敏感） 重启MySQL服务 ...
2019-04-16 11:18:57
320
转载 [ERROR] Fatal error: Please read "Security" section of the manual to find out how to run mysqld as r
测试mysqld启动mysql server的时候，报如下错误： 1 2 3 4 5 6 2015-12-17 00:46:02 10785 [ERROR] Fatal error: Pleaseread"Security"section of the manual tofindout how to run mysq...
2019-04-16 10:11:31
669
转载 linux下启动mysql服务时出现mysqld: unrecognized service错误提示解决办法
系统redhat6.6连接mysql数据库失败的问题：用mysql -uroot -p 回车 再回车，尝试登陆安装在本地的mysql数据库发现有如下报错：显然提示是无法连接到mysql数据库用service mysqld status 查看了mysql服务启动状态，提示为：mysqld is stopped，服务确实未启动啊然后我用service mysqld star...
2019-04-16 10:09:30
1952
转载 解决linux mysql命令 bash: mysql: command not found 的方法
错误：root@DB-02 ~]# mysql -u root-bash: mysql: command not found原因:这是由于系统默认会查找/usr/bin下的命令，如果这个命令不在这个目录下，当然会找不到命令，我们需要做的就是映射一个链接到/usr/bin目录下，相当于建立一个链接文件。首先得知道mysql命令或mysqladmin命令的完整路径，比如mysql的路径是：...
2019-04-16 10:07:20
277
转载 Mysql中字符串互转时间类型,date_format()和str_to_date()函数
Mysql中字符串互转时间类型,date_format()和str_to_date()函数1、mysql内置函数，在mysql里面利用str_to_date（）把字符串转换为日期。示例：分隔符一致，年月日要一致、select str_to_date('2016-09-09 15:43:28','%Y-%m-%d %H:%i:%s');select date_format(now(...
2019-04-15 12:13:13
1266
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人