2019年08月_编程人生之路

原创查看linux中某个端口（port）是否被占用

1.使用lsoflsof -i:端口号查看某个端口是否被占用2.使用netstat使用netstat -anp|grep 80

2019-08-29 17:25:20 103

原创部署好oracel数据库后创建数据库，表空间等操作

部署好oracel数据库后创建数据库，表空间等操作一、创建数据库在oracle用户的图形界面终端输入dbca：[oracle@localhost ~]$ dbca回车弹出如下界面：这里选第一行和第二行都可以不勾选specify flash recovery area去掉不常用的模块二、配置监听及本地网络服务[oracle@localhost ~]$ netca...

2019-08-23 16:07:50 230

原创在linux服务器安装oracel数据库

安装环境Linux 服务器： SuSe11-linux 64/32位 Oracle服务器： Oracle11gR2 64/32位系统要求内存：必须高于1G的物理内存交换空间：一般为内存的2倍，例如：1G的内存可以设置swap 分区为3G大小硬盘： 5G以上系统配置一、在root用户下执行以下步骤：...

2019-08-23 16:04:54 472

原创 impala 和hive查询性能简单对比

Sqoop 一亿级数据导入测试用SQOOP从oracel 中把数据倒入到hive中做测试首先表是这样的服务器资源Sqoop 导入脚本sqoop import --hive-import \--connect jdbc:oracle:thin:@10.32.3.4:1521...

2019-08-22 15:35:20 1646

原创 oracel造数据存储过程

create or replace procedure t_create_billion_record asi number;v_org_belong varchar2(100);v_org_type varchar2(100);v_org_level varchar2(10);v_area_code varchar2(20);v_org_jglb varchar2(20);v_...

2019-08-19 16:47:09 169

原创 Msqll批量生成数据脚本

BEGINDECLARE V_XZQHDM VARCHAR(50);DECLARE V_JGDM VARCHAR(250);DECLARE V_YWSJ VARCHAR(50);DECLARE V_ZXZ DECIMAL (11,3);DECLARE V_LASTUPDATE VARCHAR(50);DECLARE V_ZBID VARCHAR(50);DECLARE i BIG...

2019-08-19 16:46:09 186

原创 Azkaban使用教程

Azkaban页面介绍 1创建project 2上传项目 3工作流视图 4项目权限 5执行流程图 6故障选项 7任务执行选项 8定时任务 9书写azkabna的作业 1010.1创建工程 1110.2创建job 1210.3四类job类型的文件都可以添加的参数 1310.4创建工作流flow 1410.5创建子工作流subfl...

2019-08-19 16:17:29 3730 1

原创 Kylin的介绍及使用说明

介绍篇Kylin是ebay开发的一套OLAP系统，与Mondrian不同的是，它是一个MOLAP系统，主要用于支持大数据生态圈的数据分析业务，它主要是通过预计算的方式将用户设定的多维立方体缓存到HBase中（目前还仅支持hbase），这段时间对mondrian和kylin都进行了使用，发现这两个系统是时间和空间的一个权衡吧，mondrian是一个ROLAP系统，所有的查询可以通过实时的...

2019-08-19 15:38:52 4309

原创 HDFS系统命令整理

目录hdfs文件系统命令 11.1文件路径增删改查系列 21.2权限管理类 31.3文件操作（上传下载复制）系列 41.4判断系列 51.5系统功能管理类 6运维命令 7mapreduce命令 8hdfs系统检查工具fsck 9运行pipies作业 10第一部分：hdfs文件系统命令1.1第一类：文件路径增删改查系列：hd...

2019-08-19 14:54:53 205

原创 Linux系统命令解析

我们读知道Linux系统都是敲命令在控制进程，所以命令就显得重要了下面列举一些常用的命令。基础一、常用目录/文件操作命令1.展示目录列表命令ls（list）ls 展示当前目录下的可见文件ls -a 展示当前目录下所有的文件（包括隐藏的文件）ls -l(ll) 展示当前目录下文件的详细信息ll -a ...

2019-08-19 14:52:29 666

原创快速删除Hive表数据脚本

在使用hive做测试时往往有很多测试的表，到最后想清空下表直接上脚本首先：用show tables;把表名存到一个txt文件中。#！/bin/bashcat 1.txt | while read line #读取文件每一行doecho "drop table $line;" >>tt.txt 把删除命令嵌入每个表名donetable...

2019-08-19 14:40:29 763

原创 linux下安装openssh 及注意点

Rpm 安装opensshRpm -ivh 四个包后面加 --force --nodeps忽略依赖Sshd -T 查看错误信息关于Key问题需要cd /etc/ssh下都要是root:rootChmod 600 key相关文件去掉确认本机sshd的配置文件(需要root权限) $ vi /etc/ssh/sshd_config ...

2019-08-15 09:08:05 837

原创 hue 连接数据库失败及启动hue server和安装load balance时一直失败终极方案！！！

hue的问题第一个就是当验证数据库时，失败的问题，大多数都是缺少libmysqlclient.so.18这个文件或者目录找不到。在页面是这样的Unable to verify database connection.日志是有这Error loading MySQLdb module: libmysqlclient.so.18: cannot open shared ob...

2019-08-08 22:56:20 1480

原创关于linux下shell 脚本执行中文乱码的问题

我们在windows下编辑的脚本，放到linux系统执行会乱码之类的。解决方法一1：yum install dos2unixdos2unix 文件名就可以格式化然后再执行就ok。方法二2： sed -i 's/\r$//' 文件名就ok了...

2019-08-08 11:07:17 4148

原创 linux 下crontab 文件具体位置

在用crontab -e 时都会自动打开一个文件，但是不管在哪都可以用这个命令，那么保存的文件在哪呢步入正题：一.文件位置位置一般在/var/spool/cron/下，如果你是root用户，那下面有个root文件，建议日常备份，避免误删除导致crontab 文件丢失；二.日志文件位置默认情况下,crontab中执行的日志写在/var/log下,如:#ls /var...

2019-08-08 11:06:38 878

原创 linux 系统挂载光盘，并设置yum本地源

在玩linux系统时，常常会安装很多服务，但是在安装系统的时候没有添加相应的服务，所以得自己重新安装。那么问题来了，在没有网络的情况下如何离线安装常用的服务呢，一种方法是自己去官网编译安装相应的服务，但是编译也需要一些基础的服务，比如gcc。。。难道把所有的都下一遍，太麻烦！！本文提供一种通过系统光盘文件进行安装基础常用的服务，并通过建立本地仓库，设置yum源，进行yum的安装。...

2019-08-06 14:17:43 2897

SDKLHKJAS的博客