- 博客(18)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 Linux下cpu信息查看
1、查看物理CPU的个数#cat /proc/cpuinfo |grep "physical id"|sort |uniq|wc -l 2、查看逻辑CPU的个数（查看每个物理CPU中core的个数-即核数）#cat /proc/cpuinfo |grep "processor"|wc -l 3、查看CPU是几核#cat /proc/cpuinfo |grep "core
2016-04-29 18:44:36
1742
原创 Hive View
Hive 0.6版本及以上支持视图，Hive View具有以下特点：1）View是逻辑视图，暂不支持物化视图（后续将在1.0.3版本以后支持）；2）View是只读的，不支持LOAD/INSERT/ALTER。需要改变View定义，可以是用Alter View；3）View内可能包含ORDER BY/LIMIT语句，假如一个针对View的查询也包含这些语句， 则View中的语句优先级高；
2016-04-28 13:43:20
1606
原创 MySQL数据文件介绍及win下存放位置
一、MySQL数据库文件介绍MySQL的每个数据库都对应存放在一个与数据库同名的文件夹中，MySQL数据库文件包括MySQL所建数据库文件和MySQL所用存储引擎创建的数据库文件。1、MySQL创建并管理的数据库文件.frm文件：存储数据表的框架结构，文件名与表名相同，每个表对应一个同名frm文件，与操作系统和存储引擎无关，即不管MySQL运行在何种操作系统上，使用何种存储引擎，都
2016-04-26 11:26:28
1255
原创 Mysql执行计划查看
一、相关参数设定默认情况下Mysql的profiling是关闭的，所以首先必须打开profiling。mysql> show variables like "%profiling%";+------------------------+-------+| Variable_name | Value |+------------------------+----
2016-04-22 20:47:46
1287
原创 CentOS6.6-64下rpm方式mysql-5.7.12安装实录
操作系统环境情况：[root@localhost ~]# cat /etc/issue CentOS release 6.6 (Final)Kernel \r on an \m[root@localhost ~]# getconf LONG_BIT641、mysql-5.7.12 rpm bundel包下载[root@localhost ~]# wget ht
2016-04-22 17:10:39
6657
3
原创 linux基础命令之：su和sudo用户切换命令的使用
1、su 的用法通过su可以在用户之间切换，如果超级权限用户root向普通或虚拟用户切换不需要密码，而普通用户切换到其它任何用户都需要密码验证。su [OPTION选项参数] [用户]语 法：su [-flmp][--help][--version][-][-c ][-s ][用户帐号][root@localhost babyfish]# su --hUsage:
2016-04-22 14:22:55
13496
原创 linux系统启动报错：[contains a file system with errors, check forced]的解决方法参考
1、解决参考一Press enter for maintenance(or type Control-D to continue):/dev/sda3 contains a file system with errors, check forced./dev/sda3: Inodes that were part of a corrupted orphan linked list
2016-04-19 14:23:05
15001
4
原创 Linux用户与用户组详解
1、用户和用户组文件在linux中，用户帐号，用户密码，用户组信息和用户组密码均是存放在不同的配置文件中的。在linux系统中，所创建的用户帐号和其相关信息(密码除外)均是存放在/etc/passwd配置文件中。由于所有用户对passwd文件均有读取的权限，因此密码信息并未保存在该文件中，而是保存在了/etc/shadow的配置文件中。在passwd文件中，一行定义一个用户帐号，每行均
2016-04-19 11:36:13
15395
1
原创 Linux文件第二扩展文件系统属性
在通常情况下，linux下文件具有的属性都是读写和执行;但这些属性属于高层次的文件属性，它和具体的文件文件系统无关。在文件系统这一层，文件同样也具有很多属性，chattr和lsattr指令就是设置和查看基于ext2/ext3文件系统的底层属性。1、chattr:设置文件的底层属性语法格式：chattr [option] [file]chattr 修改文件在Linux第二扩展文件系统(E
2016-04-18 20:47:39
1599
原创 HIVE授权配置
HIVE授权管理，类似于操作系统权限可以授予给不同的主题，如用户(USER)，组(GROUP)，角色(ROLES)，Hive还是支持相当多的权限管理功能，满足一般数据仓库的使用，同时HIVE能支持自定义权限。HIVE授权并不是完全安全，在其目前的形式来看,授权方案的目的是主要是为了防止用户不小心做了不合法的操作,但不承诺防止用户恶意破坏。1、开启Hive的身份认证功能，默认是false
2016-04-18 17:45:38
2218
原创 生产系统数据实时同步到rds数据仓库的一个样例
1、环境说明生产系统数据库是阿里云mysql型rds数据库，目标数据仓库也是阿里云mysql型rds数据库。由于数据高效抽取的需要，生产系统表字段timeline定义为记录新增或更新的时间戳，并且此字段需要添加索引。2、存储数据抽取时间的表CREATE TABLE `real_time_maintenance` ( `id` int(11) DEFAULT NULL,
2016-04-14 20:23:07
3934
原创 mysql数据字段加密
PASSWORD()：创建一个经过加密的密码字符串，适合于插入到MySQL的安全系统。该加密过程不可逆，和unix密码加密过程使用不同的算法。主要用于MySQL的认证系统。ENCRYPT(，) AES_DECRYPT( , )：使用UNIX crypt()系统加密字符串，ENCRYPT()函数接收要加密的字符串和（可选的）用于加密过程的salt（一个可以唯一确定口令的字符串，就像钥匙一样）。
2016-04-14 11:43:39
7277
原创 日志数据文件Json字段数据入库处理
本文相当于是：【大数据环境平台日志日常跑批整理 http://blog.csdn.net/babyfish13/article/details/50974308】的后续整理。1、程序目录路径[hs@master json_col_proc]$ pwd/home/hs/opt/User_Behavior_Log/json_col_proc2、调用python的shell脚
2016-04-12 18:42:51
2335
原创 linux基础命令之：last命令学习
命令简介：该命令用来列出目前与过去登录系统的用户相关信息。指令所在路径：/usr/bin/last 执行last指令时，它会读取位于/var/log目录下名称为wtmp的文件，并把该给文件的内容记录的登录系统的用户名单全部显示出来。默认是显示wtmp的记录，btmp能显示的更详细，可以显示远程登录，例如ssh登录。utmp文件中保存的是当前正在本系统中的用户的信息。 wtm
2016-04-12 15:10:10
1024
原创 linux查看用户相关
/etc/group文件包含所有组/etc/shadow和/etc/passwd系统存在的所有用户名一般情况下是用户信息的查看：cat /etc/passwd可以查看所有用户的列表cat /etc/group 查看用户组w 可以查看当前活跃的用户列表whoami 查看当前登录用户名groups
2016-04-12 14:53:49
693
原创 HBase表及其数据存储的理解
HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族/
2016-04-05 11:07:38
1565
原创 HBase常用Shell命令学习
1.进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证，需要事先使用相应的keytab进行一下认证（使用kinit命令）;认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户hbase(main)> whoami2.表的管理1）查看有哪些表 hbase(main
2016-04-05 10:58:14
786
原创 源系统表结构比对跟踪并进行邮件发送
在这里源系统均为mysql数据库，并将每日的表结构信息拉取到目标mysql数据库中；在目标mysql库中通过存储过程代码查询出两日内表结构之间的差异，并通过python脚本使用邮件将相关信息发送给相关人员。1、数据拉取、装载、mysqlsp运算及邮件发送调度的shell脚本路径:/home/hs/opt/dw-etl/tabsrc_strurecord/srctab_stru_pull.s
2016-04-01 07:05:56
1990
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人