- 博客(19)
- 收藏
- 关注
RSS订阅转载 uedit使用技巧
Tip 1: 如何去掉所编辑文本中包含特定字符串的行? 这则技巧是在UltraEdit的帮助文件里提到．CTRL+R 调出来替换(Replace)窗口,选中"使用正则表达式";然后用查找 %*你的字符串*^p 替换成空内容即可.如，我当前有个文本文件，需要去掉所有包含 http://www.dbanotes.net/ 这个字符串的行，查找%*http://www.dbanotes.net/*^...
2018-07-30 19:47:08
5516
原创 不同数据库限制取前N条记录
1.mysql SELECT * FROM TABLENAME LIMIT N 2.sql serverSELECT TOP N * FROM TABLENAME 3.orale（1）rownum（oracle从8开始提供的一个伪列，是把SQL出来的结果进行编号，始终从1开始常见的用途就是用来分页输出） oracle 取前10条记录 1) selec...
2018-07-26 16:48:20
218
转载 HIVE学习之（三）
Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需要的内容，这套SQL 简称Hive SQL，使不熟悉mapreduce 的用户很方便的利用SQ...
2018-07-25 18:37:08
419
转载 linux基础（四）——任务调度cron和anacron
crontab定期执行shell脚本【场景】：需要定期运行Hadoop的MapReduce 【解决办法】：编写一个运行MapReduce的Shell脚本。然后使用crontab配置定时任务。 【Shell脚本】#!/usr/bin/env bashsource /etc/profileecho "TimeLimitDrawn Start"hadoop jar ...
2018-07-20 17:34:12
292
转载 Hive入门学习随笔（二）
====使用Load语句执行数据的导入--将操作系统上的文件student01.txt数据导入到t2表中load data local inpath '/root/data/student01.txt' into table t2;--将操作系统上/root/data文件夹下的所有文件导入t3表中，并且覆盖原来的数据load data local inpath '/root/...
2018-07-20 14:12:53
225
转载 大数据基础（一）——关系+文章
一、DB、ETL、DW、OLAP、DM、BI关系结构图转载自：http://www.cnblogs.com/ycdx2001/p/4538750.html（1）DB/Database/数据库——这里一般指的就是OLTP数据库，在线事物数据库，用来支持生产的，比如超市的买卖系统。DB保留的是数据信息的最新状态，只有一个状态！比如，每天早上起床洗脸照镜子，看到的就是当时的状态，至于之前的每天的...
2018-07-20 13:39:43
1980
转载 Hive入门学习随笔（一）
===什么是Hive？Hive是基于Hadoop HDFS之上的数据仓库。我们可以把数据存储在这个基于数据的仓库之中，进行分析和处理，完成我们的业务逻辑。本质上就是一个数据库 ===什么是数据仓库？实际上就是一个数据库。我们可以利用数据仓库来保存我们的数据。与一般意义上的数据库不同。数据库是一个面向主题的、集成的、不可更新的、随时间不变化的数据集合，它用于支持企业和组织...
2018-07-20 11:30:39
2098
3
转载 linux基础（三）——yum的使用
YUM 简介（类似于yum-conda，rpm-pip）YUM 的全称是 Yellowdog Updater, Modified，它是一个 C/S 架构的软件，能够对基于 RPM 格式的软件包进行管理，它提供了包括自动解决依赖关系，软件包的分组，软件包的升级等功能。 2013 年 7 月 10 日， yum 工具的开发者 Seth Vidal 先生因为车祸不幸去世， 我们为计算机领域失去这位专...
2018-07-19 14:57:23
29128
转载 linux基础（二）——linux各文件夹含义和作用
转自:http://blog.chinaunix.net/uid-22018363-id-407691.html1.linux下各文件夹的意义： /bin：是binary的缩写,包含了引导系统启动所需的命令和普通用户可以使用的常用命令 /lib：是根文件系统目录下程序和核心模块的共享库，存放了根文件系统程序 运行所需的共享文件。这些文件包含...
2018-07-19 09:39:51
1226
原创 linux基础（一）——切换到root用户和普通用户
1.普通用户$——root用户#打开终端时，命令行以$开始表示是出于普通用户模式下，想要切换到root权限用户（#开头的命令行），方法如下：1.在命令行中输入：su2.按下回车，输入用户登录的密码（一般隐藏），即可进入到root权限用户模式下。2.root用户#——普通用户$输入 su 用户名（之间有空格）3.普通用户在不知道超级用户的密码的情况下，暂时的获得root权限...
2018-07-18 17:32:28
5100
转载 ETL利器----Kettle实战应用
文章主要索引如下：一、ETL利器Kettle实战应用解析系列一【Kettle使用介绍】二、ETL利器Kettle实战应用解析系列二 【应用场景和实战DEMO下载】三、ETL利器Kettle实战应用解析系列三 【ETL后台进程执行配置方式】本文主要阅读目录如下：1、Kettle概念2、下载和部署3、Kettle环境配置4、Kettle使用及组件介绍 ETL（E...
2018-07-18 10:58:39
1151
原创 Hadoop整体框架
大数据框架目录大数据框架一、Hodoop四大组件：HDFS/MapReduce/YARN/Common二、Zookeeper三、Hive四、Spark五、ETL六、ngnix七、Redis八、Oracle十一、Jsp/node.js/JQueryEcharts一、hadoophttp://blog.csdn.net/huanglong8/...
2018-07-17 18:08:17
13544
4
原创 sql函数
一、COALESCE()函数 （取非空，若1个参数不为空返回第一个参数，若为空，看第二个参数，依次--）主流数据库系统都支持COALESCE()函数，这个函数主要用来进行空值处理，其参数格式如下： COALESCE ( expression,value1,value2……,valuen) COALESCE()函数的第一个参数expression为待检测的表达式，而其后的参数个...
2018-07-13 14:05:58
554
转载 SQL语句
* 以下内容是我在学习SQL（http://www.w3school.com.cn/sql/index.asp）的时候的学习笔记 * 学习时使用的数据库软件是MySQL数据库可视化工具SQLyogEnt * 如果大家有发现什么不对的地方请告诉我。谢啦!!☆⌒(*＾-゜)v 第一章 SQL基础教程一、SQL简介1：什么是SQL？A:SQL指结构化查询语句 B:SQL使我们有能力访问数据库 ...
2018-07-11 17:40:06
1045
转载 Shell脚本学习（二）
一、制作SSH登录远程服务器的Shell脚本Ubuntu环境需要安装expect安装包sudo apt-get install expect1使用shell脚本自动ssh登录远程服务器login.sh#!/usr/bin/expect -f# 设置ssh连接的用户名set user liuben# 设置ssh连接的host地址set host 10.211.55.4# 设置ssh连接的p...
2018-07-10 16:53:15
208
转载 Shell脚本学习（一）Shell命令基础
echo $SHELL# $SHELL是一个环境变量，它记录用户所使用的Shell类型。你可以用命令：Shell-name# 来转换到别的Shell，这里Shell-name是你想要尝试使用的Shell的名称，如ash等。这个命令为用户又启动了一个Shell，这个Shell在最初登录的那个Shell之后，称为下级的Shell或子Shell。exit# 可以退出这个子Shell。123...
2018-07-10 16:50:29
306
转载 Linux常用命令（二）
scp命令# 获取远程服务器上的文件$ scp -P 2222 root@192.168.1.100:/root/tomcat.tar.gz /home/tomcat.tar.gz# -P是端口号参数，2222表示更改SSH端口后的端口，如果没有更改SSH端口可以不用添加该参数 # root@192.168.1.100 表示使用root用户登录远程服务器192.168.1.100# :/...
2018-07-10 16:48:32
529
转载 Linux常用命令（一）
netstat查看端口# 参数-a (all)显示所有选项，默认不显示LISTEN相关-t (tcp)仅显示tcp相关选项-u (udp)仅显示udp相关选项-n 拒绝显示别名，能显示数字的全部转化成数字。-l 仅列出有在 Listen (监听) 的服務状态-p 显示建立相关链接的程序名-r 显示路由信息，路由表-e 显示扩展信息，例如uid等-s 按各个协议进行统计-c 每...
2018-07-10 16:46:20
194
转载 ETL介绍与ETL工具比较
本文转载自：http://blog.csdn.net/u013412535/article/details/43462537ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过萃取（extract）、转置（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。ETL负责将分布的、异构数据源中的数据如关...
2018-07-09 10:20:02
8962
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人