2015年10月_taxueguilai1992

原创 hive常见操作

命令行的操作quit/exit 退出交互shellreset 重置配置到默认值set key=value 设置配置变量的值set 打印所有的配置变量（被hive或用户覆盖的变量）add FILES/JARS/ARCHIVES {filepath} {filepath}* 在分布式缓存中添加文件，jar包，或archiveslist FILES/JARS/ARCHIVES

2015-10-24 21:44:40 618

CentOs开启启动的流程主要有以下几个步骤：一.POST加电自检POST（POST ON SELF TEST）首先对每一个设备进行检查，完成后悔寻找存有引导记录的设备，找到读入操作系统的引导记录，将系统控制权交给引导记录。二、MBR引导MBR（Master Boot Record）,MBR记录一般是在磁盘0磁道1扇区，共512字节，前446个字节是BootLoader,后面的4*16个字节是存放分

2015-10-24 20:44:43 598

原创 hive中内部表和外部表

1.区别Hive创建内部表时，会将数据移动到数据仓库指向的路径； Hive创建外部表时，仅记录数据所在的路径，不对数据的位置做改变。在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删元数据，不删除数据，这样看来，外部表相对来说更加安全些，数据组织更加灵活。元数据：表示数据的数据，对数据及信息资源的描述性信息。2.具体操作1.创建内部表：create table if not e

2015-10-24 11:16:32 1036

原创 HBase 中存储结构

在《HBase权威指南》中看到这样一段话，对于理解HBase的物理存储是很有帮助的： The HResionServer opens the region and creates a corresponding HRegion object. When the HRegion is opened is sets up a Store instance for each HColumnFamily

2015-10-17 10:40:52 763 1

原创 intellij创建一个web应用

1.准备环境MAC OS X 10.10 tomcat8.0.27 java1.8 IntellJ 142.准备过程在使用IntelliJ创建web应用的时候，我们需要提前安装好tomcat和jdk.3.具体步骤1.创建一个web工程：File -> New -> Project，出现下面的界面，点击左上角的java，选择Web Application,如下图：点击Next,去定项目

2015-10-14 18:26:44 575

原创 python 中database的一些问题

1.MysqlDB 的Connection 共享问题关于全局变量： threadsafety 整形变量，表明线程间安全性的支持程度。 0 模块不能共享 1 模块能共享，Connection不能共享 2 模块，connection都能共享， cursor不能共享 3 模块、 connection、cursor 都能共享因为MsSQL.threadsafety=

2015-10-09 17:10:40 815

原创 mac下的mysql压缩包安装

1.环境OSX 10.10.3 mysql-5.6.272.安装过程下载压缩包：mysql-5.6.27.tar.gz将压缩包拷贝到/usr/local下，并解压 tar -zxvf mysql-5.6.27.tar.gz 重命名：mv mysql-5.6.27.tar.gz mysql修改mysql文件夹的用户组和所有者：sudo chown -R mysql:mysql mysql

2015-10-08 21:50:11 3414

原创 python连接phoenix

1.方案这里我们通过Jpype和JayDeBeApi 来连接2.过程这里我列出实例代码：import jpypeimport jaydebeapiimport osphoenix_client_jar="/data/users/huser/phoenix/phoenix-4.3.0-client.jar"args=='-Djava.class.path=%s'% phoenix_client

2015-10-08 12:33:58 4946 6

原创 JayDeBeApi的使用

1.介绍JayDeBeApi是一个python模块，可是通过它来使用java的JDBC来连接数据库。2.安装这里有多种安装方式：pip 安装：pip install JayDeBeApi运行脚本安装：首先下载这个项目，然后执行，python setup.py install使用Jython 安装：jython setup.py install3.使用其实这里和在一般的java 程序中使用jd

2015-10-08 11:07:35 14781

原创 python os相关操作

file:当前文件的路径 os.path.dirname(file):某个文件所在的目录路径（不包含文件名） os.path.join(a,b,c,…):路径构造a/b/c os.path.abspath(path):将path从相对路径转成绝对路径 os.pardir: linux相当于”../” os.getcwd(): 得到当前工作目录 os.path.split(file):

2015-10-07 17:02:36 536

原创 Jpype的使用

1.介绍jpype努力使python程序自由访问java的类库，它并不是python，一种重实现（像JPython,Jython），而是通过native或者虚拟机层面上的实现。

2015-10-02 10:40:09 1260

原创 sql语句中的group by用法

1.概述group by 就是依据by 后面的规则对数据分组，所谓的分组就是讲数据集划分成若干个’小组’，针对若干个小组做处理。2.语法规则SELECT column_name, aggregate_function(column_name)FROM table_nameWHERE column_name operator valueGROUP BY column_name3.举例说明我们有这

2015-10-02 10:34:12 20534

lanyizheng blog