- 博客(21)
- 收藏
- 关注
RSS订阅原创 Linux虚拟机安装-网络配置-防火墙
1. Linux虚拟机安装安装过程中没有相关图片的都是默认选择的,不需要修改enter键开始安装等待安装完成2.网络配置回到windows回到Linux修改后 esc进入命令模式 , shiftzz 保存并退出3. Linux防火墙systemctl status firewalld 查看防火墙状态systemctl stop fir.
2020-09-12 00:06:41
1998
原创 hive-窗口函数示例-列出连续多天有订单的店铺-列出连续打中地鼠的人名
1.列出连续多天有订单的店铺1.1 数据店铺名,日期,订单金额a,2020-02-10,600a,2020-03-01,200a,2020-03-02,300a,2020-03-03,200a,2020-03-04,400a,2020-03-05,600a,2020-02-05,200a,2020-02-06,300a,2020-02-07,200a,2020-02-08,400b,2020-02-05,200b,2020-02-06,300b,2020-02-08,.
2020-09-03 23:06:54
413
原创 MapReduce案例-统计手机号总流量
map方法和reduce方法都是循环调用的map方法---每行数据调用一次reduce方法---每个KV调用一次只执行一次的代码写在setup和cleanup中统计每个手机号的总流量数据格式:1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681 200需求:统计每个手机号的总流量 数据为多个手机号访问不同网站消耗的流量 每个
2020-09-02 23:41:14
1599
原创 hive-创建数据库-创建表--hive版本3.1.2
1.数据库1.1创建数据库create database if not exists database_name;1.2查看所有的数据库show databases;1.3切换数据库use database_name;1.4查看当前所使用的数据库select current_database();1.5查看数据库信息show database extended database_name;1.6删除数据库drop database...
2020-09-02 23:13:37
878
原创 HIVE导入数据的方式
1.load本地数据2.loadHDFS数据3.建表时指向数据位置location ''4.insertinto table_name values()5.insertinto table_name select ...from...6.put数据到表目录下7. create table ....as select ..from...8. import导入数据9.sqoopDataX数据迁移工具...
2020-09-02 22:41:23
144
原创 hive执行方式
1. hive[root@linux01 /]# hive本地连接--没有格式化hive> show databases;2.hive -command[root@linux01 /]# hive -e 'show databases;'hive后跟命令和语句---适合写shell脚本3.hiveserver2 &[root@linux01 /]# hiveserver2 &[1] 11487[root@linux01 /]# ...
2020-09-02 21:51:35
108
原创 HBASE-java客户端
1.添加依赖pom.xml<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven.compiler.ta.
2020-08-29 00:28:21
131
原创 Hbase-shell客户端
hbase shell不懂的命令使用 help ‘command’ 查看指令的帮助1. generalprocesslist 查看正在运行的任务The currently running taskstatus 查看集群状态 , 例如 : 1 active master, 1 backup masters, 3 servers, 0 dead, 1.3333 average loadtable_help 表相关命令的参考帮助version hbase版本whoam.
2020-08-28 20:10:50
131
原创 HBASE安装-同步集群时间
1.HDFS启动start-all.sh2. ZooKeeper集群启动单节点启动: zookeeper-3.4.6/bin/zkServer.sh start3.同步集群时间---时间不同步会抛出异常1. 连接时间服务器同步集群时间 yumyum -y install ntpdate.x86_64 ntpdate 0.asia.pool.ntp.org2.手动设置时间 date -s ''2020-08-27-19:2...
2020-08-27 19:50:03
798
原创 hadoop-HDFS操作-shell端-java端需要的依赖-简单案例-修改idea格式化代码快捷键
1 shell端就是在linux虚拟机上操作HDFS常用命令如下:List item
2020-08-26 23:24:47
239
原创 hadoop-HDFS简介-部分原理介绍
1 HDFS架构HDFS采用主从架构主节点 : NameNode 文中简称NN从节点 : DataNode 文中简称DN1.1 NameNode存储元数据 , 记录用户操作的日志接收NN节点的注册 , 向DN分配集群ID(clusterID) , 指定存储数据的目录接收客户端的请求 , 向客户端返回元数据或响应维护集群的负载均衡 , 维护数据副本个数监控DN的心跳信号 , 接收DN的汇报 , 更新元数据 , 向DN分配复制副本的任务提供统一的虚拟目录供用户访问1.2 DataNod
2020-08-22 23:57:26
184
原创 hadoop特点-组成
1. hadoop特点高可靠性 , 数有多份副本存储在不同的机器上 , 保证数据的安全可靠高容错性 , 数据有多个副本 , 当机器宕机时 , 会自动复制副本到其他机器上 , 维持副本个数 , 自动分配失败的任务高扩展性 , 运算资源存储容量不足时可以横向扩展机器节点来增加低成本 , hadoop可以运行在价格低廉的机器上2. hadoop组成hdfs : 以文件为单位的分布式文件系统 , 用于存储海量的数据mapreduce : 分布式运算编程框架 , 解决海量数据的分布式运算Yarn
2020-08-22 15:04:43
2573
原创 Linux-ssh免密-shell
目录1. ssh协议免密2. 复制文件到另一台主机3. shell1. 变量定义和取值2. 运算方式3. 字符串测试,整数测试,文件测试,多重测试4. 创建shell文件5. if6. case7. for8. while9. 方法1. ssh协议免密前提: 有多台虚拟机 , 安装了ssh//Linux安装时默认安装了ssh,没有的话也可以重新安装安装ssh: yum list | grep ssh yum -y install ssh安装包免密: ssh-keygen 一台虚拟机1次
2020-08-15 11:08:12
218
原创 Linux-压缩与解压-防火墙-JAVA_HOME配置-权限-网络命令-系统命令-搜索-安装rz-psmisc-netstat
目录1. 压缩和解压1.1 gzip和gunzip1.2 tar2. 防火墙3. JAVA_HOME配置4. 权限5. 网络命令1. 压缩和解压1.1 gzip和gunzip - gzip 文件 将文件压缩为.gz结尾的压缩文件 - gzip 多个文件 逐个压缩 - gunzip 压缩文件 解压单个压缩文件 - gunzip 多个压缩文件 逐个解压为文件 - 缺点:只能压缩与解压单个文件,一般不用这个1.2 tar - tar -zcvf 压缩包名 多个文件 将多个文件压缩
2020-08-10 23:52:37
169
原创 Linux特点-基本命令-网络配置
1. linux特点免费开源linux安全性高 , 稳定性好linux文件系统没有桌面 , 便于部署资源占用少多用户,权限控制严格2. linux基本命令2.1 cd(change directory)切换目录 - cd ./ 当前目录 - cd ../ 上一级目录 - cd 路径 切换到路径 - cd / 切换到根目录 - cd ~ 切换到当前用户所在的home - cd - 上一次所在的目录 - cd bin 当前目录下的bin目录 等同于 ./bin2.2
2020-08-10 21:53:00
264
原创 java基础-数组
数组的动态初始化格式：数据类型[] 数组名 = new 数据类型[长度];给定数组的长度，有系统分配空间和初始值，数组长度一旦给定无法改变；数组本身是引用数据类型，数组内的元素可以是基本数据类型，也可以是引用数据类型（）；赋值：数组名[索引值：元素在数组中的序号，从0开始] = 要赋的值；取值：数组名[索引值]； public static void main(String[] args) { int[] arr = new int[5]; arr[0] = 1; arr[1]
2020-06-27 23:46:04
95
原创 java基础-方法
方法的定义修饰符 返回值类型 方法名(参数列表){ 方法体;}修饰符：访问修饰符：public、private、protected、默认修饰符 &非
2020-06-27 21:35:42
89
原创 流程控制结构
ifif的几种形式if(关系表达式) { 语句体; //执行流程：判断关系表达式为ture还是false,true就执行语句体,false不执行语句体 } if(关系表达式) { 语句体1； //执行流程：判断关系表达式为ture还是false,true执行语句体1，false执行语句体2 }else { 语句体2; } if(关系表达式1) { 语句体1; }else if(关系表达式2) { //执行流程：判断关系表达式1为ture还
2020-06-24 22:00:02
114
原创 运算符
1、算数运算符1、+ ；- ；* ；/ ；%（取余）；整数运算结果为整数，如果需要结果为小数，需要小数参与运算或强制转换为小数类型；例如： int a = 15; int b = 2; System.out.println(1.0 * ( a / b ) ); System.out.println((double) ( a / b )); //结果为7.02、++ 和- -分为：++变量；变量++；- -变量；变量- -；单独使用时没有分别，都是 加1 /
2020-06-22 21:19:23
96
原创 java基础_day02
标识符命名规则只能包含英文大小写字母、数字 、 $和_（不能以数字开头；不能是关键字；区分大小写）；对类和接口命名：大驼峰命名法，每个单词首字母大写；例如：HelloWorld对方法和变量命名：小驼峰命名法，首个单词首字母大写；例如：helloWorld对常量命名：所有字母均为大写，字母间使用下划线连接；例如：HELLO_WORLD包名：域名倒写，多级包之间使用.进行连接；例如：com.summonastra.service.Service.java常量字面值常量：整数、小数、字符（’’
2020-06-21 20:12:16
113
原创 Java基础_day01
正式开始学习java的第一天总结今天所学的知识1.DOS命令行操作1.打开命令行窗口: win+r 输入cmd2.切换盘符: 盘符:3.列出当前文件夹所有的文件和文件夹: dir 可加后缀参数,如:\q4.进入指定文件夹: cd 文件夹所在位置5.创建文件夹: md(make directory)6.删除文件夹: rd(remove directory)7:返回上一级目录: cd..8:返回根目录: cd\9.删除文件: del10:查看计算机中的所有盘符: diskpart
2020-06-20 15:08:57
96
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人