- 博客(51)
- 收藏
- 关注
RSS订阅原创 sqoop的安装与使用
(6)切换到sqoop根目录下的conf目录，复制并改名配置文件:cp sqoop-env-template.sh sqoop-env.sh。(3)创建软连接:ln -s /opt/install/sqoop-1.4.6-cdh5.14.2/ /opt/install/sqoop。(2)解压安装包:tar -zxf sqoop-1.4.6-cdh5.14.2.tar.gz -C /opt/install/# 从mysql导入指定表中字段且带条件的数据到hdfs。# 连接数据库获取指定数据库中的所有数据表。
2024-01-08 16:39:08
1155
原创 Hbase进阶
-不要create 'hive_hbase_emp_table','info'2.实现Hive中创建表hive_hbase_emp_table关联HBase。Region 热合并【无需停止hbase服务，在hbase中执行】3.在Hive中插入数据，通过HBase查询。--在hbase shell中执行如下语句。--hbase shell中执行如下语句。--在hive中执行以下更新查询操作。--在hive中执行以下查询操作。--在hbase中执行如下语句。--在hive中执行如下语句。
2024-01-05 16:15:59
925
原创 HBASE基础
(3)创建软连接：ln -s /opt/install/hbase-1.2.0-cdh5.14.2 /opt/install/hbase。(10)从102机器上复制/etc/profile文件复制103，104机器上并生效：source /etc/profile。(2)解压：tar -zxf hbase-1.2.0-cdh5.14.2.tar.gz -C /opt/install。17、禁用表：disable 'myschool:info'，再删除表：drop 'myschool:info'
2024-01-02 09:18:10
817
原创 hive函数及性能优化
IF(isnull(mark),'缺考',IF(mark>=90,'优',IF(mark>=80,'良',IF(mark>=70,'中',IF(mark>=60,'及格','不及格')))))SELECT id,name,sex,mark,IF(mark>=60,'及格','不及格') `等级` FROM score;SELECT length('abc'),length('你我他');
2023-12-28 15:03:28
447
原创 hive高级查询（2）
- window子句分为两类：行，值范围，不支持使用的函数包括：row_number(),rank(),dense_rank(),lead(),lag()-- 分析 -> lead(),lag(),first_value(),last_value()-- 排名 -> row_number(),rank(),dense_rank()-- 聚合 -> count(),max(),min(),sum(),avg()-- 思路：分组 -> 排序 -> 计算【排名，聚合，分析】
2023-12-25 12:37:35
1103
原创 hive高级查询
- CTE【Common Table Expression，公共表表达式】-- 业务数据和元数据备份，表->文件【备份表】-- 排序【升序asc(默认)，降序desc】-- 业务数据备份，表->文件【备份数据】
2023-12-22 08:43:02
956
原创 hive（2）
- 插入数据【注意：所有字段顺序对应，分区字段必须放在最后】-- 准备数据student_male_female.txt。-- 准备数据student_partition2.txt。-- 检查是否已开启动态分区模式【默认为true】-- 设置分桶功能开关【默认值false】-- 准备数据bucket.txt。侧视图（数组，映射，结构）-- 静态分区之二级分区。
2023-12-20 16:37:26
671
原创 Hive高级语法
- 逗号分隔值（Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号）-- 下载第三方jar包专用于解析json格式数据，上传到linux中：/root/data。-- 把数据上传到 /root/data/ 加载数据。-- 上传数据到linux /root/data。-- 剪切hdfs文件到其他hdfs目录。-- 通过 hive 加载数据。) comment '学生表'-- 追加hdfs文件到表中。-- 根据以上数据建表。-- 装载csv数据。
2023-12-17 18:38:52
247
原创 Hive建表语句
sex_age struct<sex:string,age:int> comment '性别年龄',sex_age struct<sex:string,age:int> comment '性别年龄',sex_age struct<sex:string,age:int> comment '性别年龄',skills_score map<string,int> comment '技能评分',skills_score map<string,int> comment '技能评分',
2023-12-15 09:29:47
102
原创 Hive命令操作
4. 定义变量 --> beeline -ujdbc:hive2://hadoop101:10000 -nroot --hivevar key=value。2. 运行hive语句 --> beeline -ujdbc:hive2://hadoop101:10000 -nroot -e"hive语句"3. 运行hive文件 --> beeline -ujdbc:hive2://hadoop101:10000 -nroot -f"hive文件"1. 获取帮助 --> hive -H 或-help。
2023-12-13 08:45:14
486
原创 hive数据仓库工具
（07）解压到指定目录下：tar -xvf MySQL-5.5.40-1.linux2.6.x86_64.rpm-bundle.tar -C ./mysql。连接： N/A----------------------!（04）若有安装则卸载：rpm -e --nodeps mariadb-libs-5.5.35-3.el7.x86_64。（02）若有安装mysql则卸载：rpm -e mysql 或 rpm -e --nodeps mysql。
2023-12-13 08:36:29
704
原创 ZooKeeper分布式应用协调服务
（3）建立软链接：ln -s /opt/install/zookeeper-3.4.5-cdh5.14.2 /opt/install/zookeeper。zkServer.sh start"（2）解压安装：tar -zxvf zookeeper-3.4.5-cdh5.14.2.tar.gz -C /opt/install。（2）解压：tar -zxvf zookeeper-3.4.5-cdh5.14.2.tar.gz -C /opt/install/
2023-12-09 11:41:04
247
原创 YARN分布式资源调度框架
（9）在104上启动historyserver：mr-jobhistory-daemon.sh start historyserver，通过jps检查。在104上停止historyserver：mr-jobhistory-daemon.sh stop historyserver。停止historyserver：mr-jobhistory-daemon.sh stop historyserver。停止resourcemanager：yarn-daemon.sh stop resourcemanager。
2023-12-06 17:23:01
229
原创 MapReduce
简化并⾏计算的编程模型 构建抽象模型：Map和Reduce 开发⼈员专注于实现Mapper和Reducer函数 隐藏系统层细节 开发⼈员专注于业务逻辑实现。起源于Google 适⽤于⼤规模数据处理场景 每个节点处理存储在该节点的数据 每个job包含Map和Reduce两部分。1. MapReduce是⼀个分布式计算框架 它将⼤型数据操作作业分解为可以跨服务器集群并⾏执⾏的单 个任务。1. java类型 Hadoop Writable类型。1. MapReduce定义。3. 常⽤的数据序列化的类型。
2023-11-30 17:21:48
26
原创 分布式系统HDFS
14. 复制hadoop102上的/etc/profile⽂件到hadoop103-104上，并 在hadoop102-104上使⽂件⽣效 scp /etc/profile root@hadoop103:/etc/6. 安装包上传到hadoop102的/opt/software后解压到/opt/install tar -zxvf hadoop-2.6.0.tar.gz -C /opt/install。7. 下载⽂件 hdfs dfs -get /hdfs/shell/a.txt ./d101。
2023-11-28 17:35:35
35
原创 伪分布式环境搭建
14. 运⾏ mapreduce 程序：bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /user/hadoop/input/ /user/hadoop/output。16. 将测试⽂件内容下载到本地： mkdir wcoutput bin/hdfs dfs -get /user/hadoop/output/* ./wcoutput cat wcoutput/*
2023-11-26 10:50:45
34
原创 大数据概况及Hadoop运行环境的搭建
6. 创建软链接：切换到install⽬录cd /opt/install 然后再创建软件 链接 ln -s hadoop-2.6.0/ hadoop 7. 添加环境变量:vi /etc/profile，并在最后添加以下两⾏。1. nn NameNode 存储⽂件的元数据, 如 ⽂件名,⽂件⽬录结构,⽂ 件属性(⽣成时间 ,副本数,⽂件权限),以及每个⽂件的块列表和块 所在的DataNode等。12. 切换到/opt/install/hadoop⽬录：cd /opt/install/hadoop。
2023-11-24 16:10:25
61
原创 shell脚本
4. bg 任务号 将后台暂停的命令运⾏起来, 可以通过 jobs -l 查 看运⾏的使⽤号 使⽤bg 任务号运⾏起来。2. 案例: 判断⽤户输⼊的字符类型使⽤case,字母类型[a-z][A-Z] 数 字类型[0-9] 其他。1. nohup 命令 >⽂件 2>&1 & (注:如果不指定⽂件会默认⽣成 nohup.out)3. 修改值 数组名[下标]=新值 如: let a[2]=33 或 ((a[2]=33))1. 初始计数器 while [ 计数器判断 ] do 语句块 计数器步进 done。
2023-11-21 16:32:54
24
原创 shell脚本
6. 在脚本中使⽤特殊的变量 1. $# 表⽰传⼊脚本的参数个数 2. $0 表⽰脚本名称 3. $* 表⽰脚本的参数列表 4. $n 表⽰传⼊脚本的每个参数 ,n从1开始计数,如果参数⼤于 10个。5. 变量的作⽤域 全局变量,局部变量, 环境变量 [注:在⽂件定义的 变量使⽤source运⾏,会在当前环境⽣成变量,当前环境就可以使 ⽤这个⽂件中定义的变量了]] ... [ else 命令;5. 条件测试命令 test [true 0 | false 1] 或 [ 条件 ] 或 [[ 条件 ]]
2023-11-16 18:30:35
25
原创 Linux命令
3. sed "s/原数据/新数据/gi" ⽂件名,仅把每⾏的所有的不区分 ⼤⼩写的"原数据"替换为"新数据",不对原⽂件操作。1. sed "s/原数据/新数据/" ⽂件名,仅把每⾏的第⼀个"原数 据"替换为"新数据",不对原⽂件操作。2. sed "s/原数据/新数据/g" ⽂件名,仅把每⾏的所有"原数 据"替换为"新数据",不对原⽂件操作。2. sed "ni ⾏数据" ⽂件名, 在⽂件中第n⾏的上⾯插⼊"⾏数据"1. sed "i ⾏数据" ⽂件名, 在⽂件中每⾏的上⾯插⼊"⾏数据"
2023-11-14 16:25:11
22
原创 Linux 命令
6. 可以使⽤占位符%[-|0][n[.m]]f , 其中n表⽰输出的宽度, -表⽰左 对齐, 0表⽰当宽度不够时的左填充字符且不能与-同时使⽤,m表 ⽰输出⼩数位数会四会五⼊。5. 可以使⽤占位符%[-|0][n]d , 其中n表⽰输出的宽度, -表⽰左对 齐, 0表⽰当宽度不够时的左填充字符且不能与-同时使⽤,当d的 实际长度⼩n时有效。4. 可以使⽤占位符%[-][n]s , 其中n表⽰字符串输出的宽度, -表⽰ 左对齐, 当s的实际长度⼩n时有效。任意⼀个 *任意个任意字符 且必须⽤引号。
2023-11-13 12:29:55
21
原创 linux内软件安装（mysql，jdk）及集群的配置
2. 下载mysql 包 MySQL-5.5.40-1.el7.x86_64.rpm-bundle.tar 放 到/opt/software⽬录下。5. 删除系统⾃带的数据库 rpm -e mariadb-libs-5.5.60- 1.el7_5.x86_64 --nodeps。6. 解压安装 tar -zxvf jdk-8u351-linux-x64.tar.gz -C /opt/install。2. 从官⽹下载相应版本的jdk安装包 jdk-8uXXX-linux-x64.tar.gz。
2023-11-10 11:45:49
42
原创 linux的root用户
1. ⾝份字符: u所有者 , g所属组 ,o其他⽤户 , a所有⽤户。2. ⽂件权限: 可以对⽂件可做的⼀些操作,读,写执⾏,创建,删除等。3. 第5,6,7个字符表⽰⽂件所有者所在组的其他⽤户对该的权 限。1. 第1个字符: 表⽰⽂件类型 -普通⽂件 , d⽬录 l链接。4. 第8,9,10个字符表⽰其他组的其他⽤户对该⽂件的权限。3. 修改所属组和所有 者 chown 所有者:所属组⽂件名。3. 权限字符: r读 , w写 ,x执⾏ , -⽆。2. 第2,3,4个字符表⽰⽂件所有者的权限。
2023-11-08 12:14:45
27
原创 Linux 服务器
11. less 分屏显⽰ 回车下⼀⾏ 空格下⼀页,y上⼀⾏, b上⼀页,q 退出 向上,向下⽅向键都可⽤。2. touch a{1..3}.txt 创建a1.txt a2.txt a3.txt。2. cat a.txt > b.txt 重定向把a.txt中的内容保存到b.txt中。3. 命令模式 按: 进⼊末⾏模式 在末⾏模式下执⾏命令, 执⾏完会⾃动回到命令模式。4. rm -rf a*.txt 删除以a开头以.txt结尾的⽂件或⽬录。3. cat a.txt >> b.txt 追加到b.txt中。
2023-11-05 10:06:17
25
原创 用户管理和视图
1. dos命令 : mysqladmin -uxiaoming -p123456 password 123。1. 概念 视图是由数据库中的⼀个表或多个表导出的虚拟表，是⼀种虚 拟存在的表，⽅便⽤户对数据的操作 作⽤。1.Host从哪台主机登录 localhost：表示本地登录，%：任何主机的IP。3. authentication_string: 登录服务的⽤户名使⽤的密码。4. Select_priv 查询权限 Y有 N没有。2.User：登录服务器的用户名。1.查询当前所有的用户信息。
2023-10-31 16:33:45
20
原创 mysql 事务 索引 备份 恢复
1.是数据库操作的最基本的单元，在逻辑上是一组操作，要么都成功，如果其中有一条失败，就都失败。5. 字段内容不是经常变化的,适合做索引,如果给经常变化 的字段添加索引反⽽会降低性能。3. 索引⼀般⽤在查找条件的字段上,如 where order by 后边 的列名。1. 原⼦性: 有多个操作,要么都成功,如果有⼀个失败,就所有的 都失败。1. mysql -u⽤户名 -p密码 数据库名< 备份的⽂件.sql。#查看⾃动提交的模式。3. 不宜添加太多常规索引, 影响数据的插⼊和删除和修改 的速度。
2023-10-26 16:51:53
19
原创 数据库Mysql
2.关系型数据 excel MySQL、Oracle、SQL Server、SQLite、DB2, ⾮关系型 map Redis、MongoDB。1. create table if not exists 表名 ( 字段名 列类型 注释,....) [ 表 类型][表字符集][注释]12.修改字段名 alter table 表名 change 旧列名 新列名 列类型 列属性。11.修改字段 alter table 表名 modify 列名 列类型 列属性;4.Mysql 现在流行的免费开源的关系型数据库。
2023-10-17 17:18:39
25
原创 java 正则表达式
1.正则表达式（Regular Expression）功能是用于处理文本，包括查找，替换，删除。1.原义字符：指字面的含义保持不变的字符，比如a b c 1 2 3。3.正则表达式表现是一个字符串，是普通字符和特殊字符共同构成的。5.特殊字符，即元字符，是指在正则表达式中具有特定含义的字符。6.正则表达式的核心对象在java.util.regex包中。2.在java中，正则表达式是一个专门用于处理文本的对象。2.非打印字符：指转义字符，比如\n \t \r。4.普通字符包括原义字符和非打印字符。
2023-10-13 19:03:32
23
原创 java网络编程
2、模拟往服务器上传文件，读取客户端要上传的文件，保存到服务器上的硬盘，服务器给客户端发个消息，“上传成功”5. 使⽤⽹络字节输出流OutputStream对象中的write 把读取到 的数据写⼊(上传)给服务器。4. 使⽤本地的字节输⼊流FileInputStream对象中的read读取本 地的⽂件。7. 使⽤⽹络字节输⼊流InputStream对象中的read⽅法读取服 务返回的数据。2.使用ServerSocket对象中的方法accept（），获取到请求的客户端对象。4.Tomcat 默认8080。
2023-10-11 21:24:12
22
原创 java多线程
1.进程：指在内存中运行的应用程序，每个进程都有一个独立的内存空间，一个应用程序可以同时运行多个进程，进程也是程序的一次执行过程。1.java.lang.Thread类，是描述线程的类，我们想要实现多线程，就必须继承Thread类。2.在Thread类的子类中，重写Thread类中的run方法，设置线程任务（开启线程要做什么）2.线程：线程是进程中的一个执行单元，负责当前进程中程序的执行，一个进程中至少有一个线程。2. 把实现类实现接⼝,重写接⼝中的⽅法,创建实现类对象合成 ⼀步完成。
2023-10-09 18:43:56
19
原创 java输入和输出的处理
1. 当使⽤字节流读取⽂本⽂件时,如果遇到中⽂字符,就会出问题, 因为⼀个中⽂占⽤多个字节,需要⽤字符流,以字符为单位,读取 数据。2. 字节输⼊流InputStream --->字节输⼊缓冲流 BufferedInputStream。2. 字节序列再还原成java对象 >>> 把流--通过反序列化-->内 存中的对象。4. 字符输⼊流Reader --->字符输⼊缓冲流 BufferedReader。1. 把对象转化为字节序列 >>> 把内存中的对象--通过序列化-- >流对象。
2023-10-07 08:36:31
48
1
原创 java 实用类
1.数据类型：基本数据类型和引用数据类型，使用基本数据类型在于效率，想要使用只有针对对象设计的方法，那么基本数据类型的数据就需要用包装类来包装。1.枚举类型本质上也是一种类，只不过这个类的对象是固定的几个，不能随意让用户创建。2.基本数据----->包装类（java.lang包）1.【修饰符】enum 枚举类名{常用的对象列表}
2023-09-23 16:41:39
19
1
原创 java泛型
Comparable<E>并重写public int compareTo(E e),此方法有返回值。3、常用泛型List<E> Set<E> Map<K,V> Iterator<E>1.对于自定义的类型进行排序，必须要implements。2、通过泛型可以避免数据向下转型时的异常问题。2.返回正数 表示当前对象大于参数对象。3.返回负数 表示当前对象小于参数对象。1、map集合 无序，键唯一。1.返回0 表示两个对象相等。2.这个方法有返回值的意义。
2023-09-21 17:03:19
22
原创 java集合框架
1.ArrayList：实现了长度可变的数组，在内存中分配连续的空间，遍历元素和随机访问元素的效率比较高。3. Collection接⼝⼦接⼝List接⼝中的对象是有序的，可以重复的。6. List接⼝的常⽤ 实现类：ArrayList LinkedList。4. Collection接⼝⼦接⼝Set接⼝中的对象是⽆序的，唯⼀的。2. Collection接⼝是集合 框架的根接⼝，保存单值对象。集合框架用来解决如何管理多个对象的对象。集合的特点：类型灵活，长度可变。集合是管理多个对象的对象。
2023-09-19 16:07:43
21
原创 java 异常
1.try{//处理业务逻辑代码}catch（异常类型 异常对象引用）{//处理异常逻辑代码。3.在发生异常时，不活的异常对象与catch定义的异常类型不一致时不会执行catch语句块。1.异常是程序在执行过程中出现的错误时或不能显示正确的逻辑结果所产生的对象，即运行时错误。2.在发生异常时，捕获的异常对象与catch定义的异常类型一致时会执行catch语句块。8 . 声明异常主要发⽣在两个⽅法之间的调⽤来决定谁处理异常的 问题。3.finally：在程序结束前最后执行的代码（出不出异常都执行）
2023-09-12 16:50:40
59
1
原创 java 接口
7.接口中成员变量必须是public static final且赋值的，要求常量名全大写，不能存在其他变量。3.接口中的所有方法必须都是公有的，且抽象，即默认隐式的public abstract。5.类可以通过implements实现接口中的所有的抽象方法，否则必须是抽象类。1.接口可以用来解决单一继承的问题，主要用于说明类具有何种功能的作用。9.一个类只能继承一个父类，可以同时实现多个接口。6.类可以同时实现多个接口用逗号隔开。8.类是对象的描述，接口是功能的描述。4.接口不能被实例化。
2023-09-08 16:55:27
49
1
原创 java方法重写和多态
5. 继承抽象类的类，必须重写⽗类的抽象⽅法，否则，该⼦类 也必须声明为抽象类，最终，必须有⼦类实现该⽗类的抽象 ⽅法，否则，最初始的⽗类到最终⼦类都不能创建对象，就 失去了意义。1. 在实际开发过程中，⽗类类型作为⽅法的形式参数， 传递⼦类对象给⽅法，进⾏⽅法的调⽤ ，更能体现 出多态的扩展性和便利性。1. 多态本⾝就是⼦类类型向⽗类类型（向上）转换的过 程，这个过程是默认，⽗类的引⽤，指向⼦类的对象， 这就是向上转型。编译时，看父类，只能调用父类声明的方法，不能调用子类扩展的方法。
2023-09-07 17:00:59
88
1
原创 java 封装与继承
5. 在⼦类中访问⽗类的成员时可通过super关键字实现，可以 调⽤⽗类的成员变量，成员⽅法，构造⽅法，在⼦类构造⽅ 法中调⽤⽗类的构造⽅法时但必须把super写在⾸⾏。6. 在创建⼦类对象时先创建⽗类对象，所以在调⽤⼦类构造⽅ 法时先调⽤⽗类构造⽅法且默认调⽤⽗类的⽆参构造⽅法， 在⼦类中也可以通过supter调⽤指定的⽗类构造⽅法。继承public和protected修饰的属性和⽅法，不管⼦类和 ⽗类是否在同⼀个包⾥ 继承默认权限修饰符修饰的属性和⽅法，但⼦类和⽗类 必须在同⼀个包⾥。
2023-09-05 17:27:09
33
原创 java方法和方法重载
在同一个类中，方法名相同，形参必须不同，包括参数类型，数量，顺序至少一个条件，与访问的修饰符和返回值类型无关。参数：在默认情况下，会提供一个无参的构造方法，但只要写了任何一个构造方法，将不再提供无参的构造方法。调用构造方法this(),this(参数列表)，只能在构造方法中首行调用其他构造方法。当多个（两个以上）构造方法同时存在时，称为构造方法重载。调用普通方法this.普通方法(参数列表)功能：就是在创建对象时为属性赋值。调用属性：this.属性变量名。2、关键字this的用法。名称：必须与类名一致。
2023-09-04 07:44:29
25
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人