Hive常用命令 hive命令行 hive --help --config hive配置文件路径--service hive 服务--auxpath 添加jar包(多个jar包用:分割) hive --service help Service List: beeline cli help hiveburninclient hiveserver2 hi...
Hive调优 系统调优避免执行MR设置hive.fetch.task.conversion = more 简单查询不走mr设置hive.fetch.task.conversion = none 所有查询都走MR本地模式执行Hive 在集群上查询时，默认是在集群上 N 台机器上运行， 需要多个机器进行协调运行，这 个方式很好地解决了大数据量的查询问题。但是当 Hive 查询处理的数据量比较小时...
vim使用 inser模式可以通过i、I等进入insert模式，进入该模式，可以文件内容进行编辑命令模式进入insert模式 i #当前字符之前插入 I #行首插入 a #当前字符之后插入 A #行位插入 o #下一行插入 O #上一行插入光标...
centos7安装与配置 准备linux软件版本：CentOS-7链接：http://mirrors.aliyun.com/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1708.iso虚拟机软件版本：VMware Workstation 14 Pro密钥：CG54H-D8D0H-H8DHY-C6X7X-N2KG6安装（最小安装）利用VMware 安装linux镜像配置磁盘/boot 2...
shell 编程 test和[]:测试判断文件 test -e #判断是否存在 -d #判断是否为目录 -f #判断是否为文件 -r -w -x test -f /usr/local/mongodb/etc/mongod.confecho $?判断整数test -gt -g...
Docker安装与配置 准备卸载旧版本（如果安装过）yum remove docker docker-common docker-selinux docker-engine更新yum安装的软件yum update安装依赖yum install -y yum-utils device-mapper-persistent-data lvm2设置yum源yum-config-manager --add-repo htt...
redis安装与配置 redis安装与配置安装cd /usr/localwget http://download.redis.io/redis-stable.tar.gztar xvzf redis-stable.tar.gzln -s redis-stable rediscd redismakecd srcmake install PREFIX=/usr/local/redis配置环境变量export...
MongoDB——高级 索引创建索引格式db.COLLECTION_NAME.ensureIndex(keys[,options]) keys，要建立索引的参数列表。如：{KEY:1}，其中key表示字段名，1表示升序排序，也可使用使用数字-1降序。 options，可选参数，表示建立索引的设置。可选值如下： background，Boolean，在后台建立索引，以便建立索引时不阻止其他数...
Lua安装与配置 下载curl -R -O http://www.lua.org/ftp/lua-5.3.0.tar.gztar zxf lua-5.3.0.tar.gzln -s lua-5.3.0 luarm -rf lua-5.3.0.tar.gz安装下载依赖(https://pkgs.org/)cd /usr/local wget http://mirror.centos.org/centos/7...
Monogo——基本操作 mongodb的基本操作数据库相关操作查看系统中已有数据库show dbs创建数据库mydbuse mydb删除当前数据库db.dropDatabase()集合相关操作查看当前数据库已有集合show collections创建集合coll1(也可以不创建，在插入数据时会自动生成)db.createCollection('coll1')删除集合coll1db.coll1.drop()创建...
MongoDB——概述 常用命令db.help() 查看常用命令db.stats() 查看当前数据库的状态db.version() 产看MongoDB的版本show dbs 显示所有非空数据库db.repairDatabase() 修复当前数据库db 产看当前所处的数据库show collections 显示当前数据库中所有的集合use 数据库名 有则切换，无则创建并切换db.getMongo() 查看当前连接机器的IP...
MongoDB——安装 安装下载cd /usr/localwget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.0.6.tgz安装tar -zxvf mongodb-linux-x86_64-3.0.6.tgzln -s mongodb-linux-x86_64-3.0.6 mongodb配置配置环境变量export MONGODB_HOME=/...
java 泛型 引言泛型是Java中一个非常重要的知识点，在Java集合类框架中泛型被广泛应用。本文我们将从零开始来看一下Java泛型的设计，将会涉及到通配符处理，以及让人苦恼的类型擦除。泛型基础泛型类我们首先定义一个简单的Box类：12345public class Box { private String object; public void set(String object) { this....
Python高级特性（一） is 和 ==Python中对象包含的三个基本要素id 身份标识type 数据类型value 值is判断对象的ID是否相同,==判断对象的value是否相同def test_num(): n1 = 1 n2 = 1 print(n1 == n2, id(n1)) print(n1 is n2, id(n2)) # result: #True...
Python可变参数 当函数的参数不确定时，可以使用argvs 和kwargs，args接收非键值,kwargvs接收键值对参数,args和kwargs必须在参数列表最后，并且kwargs在args后面*args args将参数封装在元组中def test_args(first,*args): print(first) print(args) input： test_args(1, 2...
requests库 安装依赖pip install requestsrequest对象的常用请求方法request 其他六个方法，底层调用该方法get 从服务器获取资源post 将资源提交到服务（不可覆盖）put 修改服务器资源（可覆盖）head 获取服务器资源的部分信息patch 修改服务器资源（可部分覆盖）delete 删除服务器资源requests七个请求的13个可选参数timeout 设置超时(单位:秒)im...
Python正则表达式 正则表达式基础语法（常用）第一类^ 匹配字符串的开头$ 匹配字符串的末尾。. 匹配任意字符，除了换行符，当re.DOTALL标记被指定时，则可以匹配包括换行符的任意字符。[...] 用来表示一组字符,单独列出：[amk] 匹配 'a'，'m'或'k'[^...] 不在[]中的字符：[^abc] 匹配除了a,b,c之外的字符。re* 匹配0个或多个的表达式。re+ 匹配1个或多个的表达式。re? 匹...
Jython配置和使用 下载、安装（windows、linux 使用同一个包进行安装）下载地址：http://www.jython.org/downloads.html安装：java -jar *-install.jar配置环境变量设置JYTHON_HOME: JYTHON_HOME=D:\Program Files\jython2.7.0添加PATH: %JYTHON_HOME%\bin %J...
pyspark配置和使用 window下pyspark环境搭建配置hadoop下载hadoop、winutils安装、配置环境变量用winutils覆盖掉hadoop-2.2.0\bin下所有内容配置spark下载spark安装(安装路径不能有空格)、配置环境变量配置pyspark拷贝 D:\spark-1.6.1\python\pyspark 至 D:\Program Files\Python\Python27\Lib\...
Python异常 Python异常体系异常结构图常见异常BaseException 所有异常的基类ExceptionStandardException 所有的内建标准异常的基类ArithmeticError 所有数值计算错误的基类FloatingPointError 浮点计算错误OverflowError 数值运算超出最大限制ZeroDivisionError 除(或取模)零 (所有数据类型)EnviromentE...
关注
