- 博客(21)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 2021/12/26
hdfs dfs -mkdir -p /app/data/allprovinceshdfs dfs -mkdir -p /app/data/events/productshdfs dfs -put /opt/data/allprovinces.txt /app/data/allprovinceshdfs dfs -put /opt/data/products.txt /app/data/allprovinceshdfs dfs -mv /app/data/allprovinces/products.
2021-12-26 15:47:43
815
原创 高可用hadoop集群搭建
3台服务架构最近公司运维岗缺人，由于我也会一部分运维，领导让我去布一下生产环境，这边我整理了一下cdh版本的hadoop高可用集群的搭建，留给有需要的兄弟们使用机器名服务作用hd01NameNode(主)active状态名节点DFSZKFailoverController故障自动转移JournalNodeNamenode数据同步DataNode数据节点NodeManager节点管理jobHistoryServer历史服务
2021-10-08 21:47:19
144
原创 hive数据倾斜问题
在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段的，map处理数据量的差异取决于上一个stage的reduce输出，所以如何将数据均匀的分配到各个reduce中，就是解决数据倾斜的根本所在。规避错误来更好的运行比解决错误更高效。在查看了一些资料后，
2021-09-29 23:11:34
132
原创 oracle调优（3）
接上篇oracle调优（2）24.不明确的索引等级（同一索引，范围比较优先级低于等值比较）当ORACLE无法判断索引的等级高低差别,优化器将只使用一个索引,它就是在WHERE子句中被列在最前面的.举例:DEPTNO上有一个非唯一性索引,EMP_CAT也有一个非唯一性索引.SELECT ENAMEFROM EMPWHERE DEPTNO > 20AND EMP_CAT > ‘A’;这里, ORACLE只用到了DEPT_NO索引. 执行路径如下:TABLE ACCESS BY R
2021-09-14 20:30:07
168
原创 oracle调优（2）
接上篇oracle调优（1）11.用Where子句替换HAVING子句避免使用HAVING子句, HAVING 只会在检索出所有记录之后才对结果集进行过滤. 这个处理需要排序,总计等操作. 如果能通过WHERE子句限制记录的数目,那就能减少这方面的性能开销.HAVING 中的条件一般用于对一些集合函数的比较,如COUNT() 等等. 除此而外,一般的条件应该写在WHERE子句中例如:低效:SELECT REGION，AVG(LOG_SIZE)FROM LOCATIONGROUP BY REG
2021-09-11 00:14:29
103
原创 Linux相关（rpm，yum，时间同步，常用命令）
RPM包管理rpm -ivh RPM包全名安装软件(rpm)rpm -e --nodeps 名字删除 rpm包rpm -qa | mysql查看mysql的rpm包yum包管理(安装的软件库)yum -y install 包名安装软件 如vim net-tools zip等 可以一次装多个 空格隔开即可yum uninstall 包名卸载yum list <package_name>不加<package_name>列出所有可安装的软件清单，加了列
2021-09-04 17:10:28
174
原创 oracle调优（1）
oracle优化办法：sql语句调优查询调优 index 索引调优数据存储调优 分区表修改init.ora文件（物理调优） 数据库实例 内存参数存放位置 共享池大小等等今天主要来探讨一下sql语句调优1. 访问table的方式oracle中有两种访问表记录的方式全表扫描全表扫描就是顺序访问表中的每条记录，oracle采用一次读取多个数据块的方式优化全表扫描通过ROWID访问表ROWID 又被称为 伪列，包含了表中记录的物理位置信息.oracle采用索引(INDEX)实现了
2021-08-30 23:26:34
100
原创 oracle常用函数总结
1. 数值型函数select abs(-100),mod(10,3),ceil(-1.23),round(5.9),floor(5.9),power(2,4) from dual;执行结果dual 是 oracle的零时表，因为oracle不像mysql等支持select xx 的写法，所以必须要from dual满足语法条件。abs() : 绝对值mod（a，b）: a对b取余结果ceil（） : 向上取整round（a,b）: 对a进行四舍五入，b为保留小数点位数floor()
2021-08-26 00:27:56
158
原创 linux上oracle数据库创建
登陆oracle账户所在虚拟机，创建文件夹,并赋予权限mkdir -p /opt/oracleTS/wjlchmod -R 777 /opt/oracleTS/wjl使用sys超级用户登录oraclesu oracle # 切换成oracle账户sqlplus sys as sysdba # 使用sys账户登录oracle # 输入密码创建表空间create tablesapce wjlspace datafile '/opt/ora.
2021-08-25 22:46:19
1305
1
原创 centos7在无图形界面安装Oracle11G R2版本
centos7在无图形界面安装Oracle11G R2版本1.首先准备一台虚拟机，并且配置完成，使虚拟机网络连接上（如已准备好，可直接跳过）vi /etc/sysconfig/network-scripts/ifcfg-ens332.修改如图几个配置参数，具体参照自己虚拟机的ip网段和网关，可以在虚拟机的虚拟网络编辑器中修改或查看。修改完成:wq或者shift zz保存退出3.关闭firewalld防火墙systemctl status firewalld.service #查看fir
2021-08-23 18:44:05
337
2
原创 Java封装&继承&抽象类
Java基础—Day091.封装1.1为什么目前，我们可以对属性任意赋值，有些值不符合我们的实际需求。为了不允许随意直接操作属性，Java中，提供了一种机制：封装。就跟你生活中的包装类似。 好处：将属性保护起来，提高安全性1.2是什么封装是面向对象三大特征之一，四个[抽象]将属性隐藏起来，即不允许在外部【其他类中，直接操作】，通过方法去赋值，同时可以在方法中加入我们的判断逻辑。1.3怎么用属性私有，使用关键字 private 修饰通过公共的【 publ
2021-05-22 23:28:15
114
原创 Java面向对象
Java基础—Day081.面向对象概述1.1 vs 面向过程面向过程:你找对象为例，你每一步都亲力亲为，动作的一个执行者面向对象:找一个合适的人帮你干活。红娘，动作的指挥者面向对象的核心：就是找到合适的人，帮你干活【调用各种方法】1.2 OOP/OOAOOP：Oriented Object Programming，面向对象编程OOA：Oriented Object Arti…，面向对象分析/设计2.对象世界由什么组成的？原子、万物、人、动物…我们在认识世界的过程中，无形以分类去
2021-05-22 22:44:02
82
原创 Java排序方法
Java基础—Day06数组中可以放任意数据类型——基本数据类型和应用数据类型1. 二维数组需求：如果要保存5个班级，每个班级5个学生的成绩，计算每个班级的总分、平均分。1.1语法int[][] scores = new int[3][4]; //二维数组的定义//int[] aa = {1,2,3}; int[][] aa = {{1,2,3},{1,2,3}}; //静态赋值1.2内存分析1.3 注意点//todo 动态指定每行的长度，需要执行下面的一步，否则在赋值的时候，会
2021-05-22 22:01:50
122
原创 Java数组内存图&方法
Java基础—Day051.数组常见使用1.1数组的内存图在JVM中，内存划分出不同的区域，比如堆内存、栈内存、元空间…直接打印数组名字，出来的是一串地址值，因为数组也是引用数据类型1.2数组常见操作 JDK提供好的Arrays: JDK为我们提供好的工具类，里面有很多工具方法，用法跟我们前面的Math类似2.方法入门方法：对某个功能，我们期望将其定义成方法，目的是重复使用。执行某个方法的时候，方法需要传递参数，这个参数我们称之为实际参数，简称实参；方法定义时的参数，我们称
2021-05-22 21:39:11
306
原创 Java多重循环&数组
java基础: Day041. break和continuebreak使用场景①switch中：匹配到某个case时，跳出整个switch结构②循环【1层】：跳出当前循环体，执行整个循环结构后面的语句continue只能用于循环中，结束当次循环，即不执行当次循环，continue后面的语句，继续下一次循环2. 程序调试debug功能遇到问题解决不了，多使用debug调试功能怎么用设置断点使用断点运行跟踪代码，观察变量的变化3. 多重循环Scan
2021-05-14 23:48:18
396
原创 java循环
java基础——Day03类型转换自动： 大数据类型 变量名 = 小数据类型值byte—short—int—long—doublechar—intfloat—double强转小数据类型 变量名 = （小数据类型） 大数据类型的值常用快捷键[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-domkuryg-1620913669134)(C:\Users\wjl\AppData\Roaming\Typora\typora-user-images\im
2021-05-13 21:49:17
84
原创 Java变量&运算符&分支结构
Java基础——Day02变量的命名规范组成部分：字母、下划线、$、数字 【字、下、美、人、数】不能是关键字，可以包含关键字，比如 myClass不能以数字开头小驼峰命名规则常量的命名规范常量名都大写： PI ， month x多个单词组成，一般使用 _ 分割， MY_RATE数据类型转换了解的常用编码格式：UTF-8： 万国码，包含了所用国家的文字，也是开发中使用最多的编码，IDEA，MySQL HTML5GBK： 新国标，包含了简体中文所有的文字，以及少数民族
2021-05-13 21:47:39
107
1
原创 java入门
JDK、JRE、JVM的关系JDK目录解读HelloWorld解析解读转义字符写在字符串里面，常用的有\n 换行\t 水平制表(HT) （跳到下一个TAB位置）\" 代表一个双引号字符\\代表一个反斜线字符''\'Java跨平台原理Java注释可以使用 javadoc 生成API文档，只针对文档注释生成！javadoc -d aa -version -author Hello.java单行注释：//代码行多行注释： /*注释内容*/文档注释：
2021-05-11 16:47:28
88
一键安装jdk+mysql+hadoop+hive+zeppelin.rar
2021-09-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人