cevent的博客

1.下载地址可访问：http://archive.apache.org/dist/sqoop/1.4.7/2. 上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到虚拟机中3.解压sqoop安装包到指定目录 [cevent@hadoop210 soft]$ tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/ [cevent@hadoop21

1.克隆虚拟机之前清理垃圾[root@hadoop201 ~]# rm -rf anaconda-ks.cfg install.log install.log.syslog2.选中“克隆虚拟机”：“右键→管理→克隆”弹窗操作1下一步2克隆自：虚拟机中的当前状态3创建完整克隆4虚拟机命名，选择存储位置5完成3.配置IP3.1获取地址：vi /etc/udev/rules.d/70-persistent-net.rules删除第一个eth0，

1.Interceptor分流日志1.1idea开发interceptor分流日志1.2 创建自定义interceptor.jarpackage com.cevent.interceptor;/** * Created by Cevent on 2020/6/13. */import org.apache.flume.Context;import org.apache.flume.Event;import org.apache.flume.interceptor.Intercepto

一、多路复用（1）conf配置 [cevent@hadoop207 ~]$ cd /opt/module/apache-flume-1.7.0/ [cevent@hadoop207 apache-flume-1.7.0]$ ll 总用量 176 drwxr-xr-x. 2 cevent cevent 4096 6月 11 13:35 bin -rw-r--r--. 1 cevent cevent 77387 10月 11 2016 CHANGELOG drw

1.flume-hadoop包准备（1）安装包版本判定：x（程序版本入口）.y（功能更新的版本）.z（修复版本bug）（2）举例：goole的chrome浏览器出现在firefox之后，迭代快于所有浏览器2.解压-配置flume环境 [cevent@hadoop207 apache-flume-1.7.0]$ tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /opt/module 解压flume apache-flume-1.7.0-b

1.数据准备2.上传数据 [cevent@hadoop207 hadoop-2.7.2]$ cd /opt/module/datas/ [cevent@hadoop207 datas]$ ll 总用量 383028 -rw-rw-r--. 1 cevent cevent 147 5月 10 13:46 510test.txt -rw-rw-r--. 1 cevent cevent 120734753 6月 8 13:31 bigtable

1.fetch配置 [cevent@hadoop207 ~]$ cd /opt/module/hive-1.2.1/ [cevent@hadoop207 hive-1.2.1]$ ll 总用量 524 drwxrwxr-x. 3 cevent cevent 4096 4月 30 15:59 bin drwxrwxr-x. 2 cevent cevent 4096 5月 9 18:40 conf -rw-rw-r--. 1 cevent cevent 2

1.支持snappy压缩的资源2.解压tar这里作死了应该设置解压的固定目录，必须是hadoop-2.7.2-snappy下，否则，将直接覆盖之前的hadoop-2.7.2[cevent@hadoop207 module]$ tar -zxvf hadoop-2.7.2-snappy.tar.gz-C /opt/module/3.一失足成千古恨，又得重新造hadoop [cevent@hadoop207 soft]$ tar -zxvf hadoop-2.7.

1.Hive functions show函数显示 [cevent@hadoop207 hive-1.2.1]$ bin/beeline Beeline version 1.2.1 by Apache Hive beeline> !connect jdbc:hive2://hadoop207.cevent.com:10000 Connecting to jdbc:hive2://hadoop207.cevent.com:10000 Enter username f

1.substring用法 [cevent@hadoop207 ~]$ cd /opt/module/hive-1.2.1/ [cevent@hadoop207 hive-1.2.1]$ ll a^H总用量 524 drwxrwxr-x. 3 cevent cevent 4096 4月 30 15:59 bin drwxrwxr-x. 2 cevent cevent 4096 5月 9 18:40 conf -rw-rw-r--. 1 cevent ce

1.启动dfs、yarn、hiveserver2 [cevent@hadoop207 ~]$ cd /opt/module/hadoop-2.7.2/ [cevent@hadoop207 hadoop-2.7.2]$ ll 总用量 60 drwxr-xr-x. 2 cevent cevent 4096 5月 22 2017 bin drwxrwxr-x. 3 cevent cevent 4096 4月 30 14:16 data drwxr-xr-x. 3

1.创建部门表 create table if not exists dept( deptno int, dname string, loc int ) row format delimited fields terminated by '\t'; 2.创建员工表 create table if not exists emp( empno int, ename string, job string, mgr in

1.global options配置2.default-settings配置3.log file配置4.设置日志名格式：D:\DEV_CODE\eclipse_code\hiveTMP\shell_session-%Y%M%D.log

1.DML数据增删改查 [cevent@hadoop207 hive-1.2.1]$ bin/beeline Beeline version 1.2.1 by Apache Hive beeline> !connect jdbc:hive2://hadoop207.cevent.com:10000 Connecting to jdbc:hive2://hadoop207.cevent.com:10000 Enter username for jdbc:

1.启动dfs、yarn、hiveserver2 [cevent@hadoop207 ~]$ cd /opt/module/hadoop-2.7.2/ [cevent@hadoop207 hadoop-2.7.2]$ cd bin/ [cevent@hadoop207 bin]$ ll 总用量 320 -rwxr-xr-x. 1 cevent cevent 109037 5月 22 2017 container-executor -rwxr-xr-x. 1 ceve