- 博客(59)
- 收藏
- 关注
RSS订阅原创 sqoop使用
1.增量添加数据测试：创建mysql表CREATE TABLE sqoop_test (id int(11) DEFAULT NULL,name varchar(255) DEFAULT NULL,age int(11) DEFAULT NULL) ENGINE=InnoDB DEFAULT CHARSET=latin1创建hive表（表结构与mysql一致）hive> create external table sqoop_test (id int,name string,age i
2021-06-05 10:03:18
217
原创 phoenix问题
1、启动phoenix报错：要么hbase缺少phoenix的jar包，要么hbase没有加载phoenix的jar包，需要重启2、phoenix操作hbase 类型转换问题用Phoenix 映射HBASE的表的时候，用了一个HBASE的计数器。在HBASE的数据类型是Long,在Phoenix这边的类型是bigint。然后在Phoenix查询的时候变成了这样子，这个值在HBASE那边是10Phoenix里面可以使用类型 UNSIGNED_LONG3、本地代码操作phoenix设置1、需要公
2021-06-05 10:02:56
762
原创 tez问题
1.TEZ在hdfs上的jar包修复su -l hadoop -c ‘hadoop dfs -rm -r /apps/tez-*’su -l hadoop -c ‘hadoop fs -copyFromLocal /opt/apps/ecm/service/tez/0.9.2-1.2.1/package/tez-0.9.2-1.2.1 /apps’su -l hadoop -c ‘hadoop fs -copyFromLocal /opt/apps/extra-jars/smartdata-*.jar
2021-06-05 10:02:18
422
原创 hadoop相关问题
一、mapreduce作业oom1、任务还没启动,直接oom报错AM日志：21/05/10 15:15:13 INFO mapreduce.Job: Task Id : attempt_1617064346277_101596_m_000000_1, Status : FAILEDError: Java heap space21/05/10 15:15:16 INFO mapreduce.Job: Task Id : attempt_1617064346277_101596_m_000000_2, S
2021-06-05 10:01:00
749
1
原创 kafka指标说明及使用命令
1.kafka的指标说明Brokers Spread：看作broker使用率，如kafka集群9个broker，某topic有7个partition，则broker spread: 7 / 9 = 77%Brokers Skew：partition是否存在倾斜，如kafka集群9个broker，某topic有18个partition，正常每个broker应该2个partition。若其中有3个broker上的partition数>2，则broker skew: 3 / 9 = 33%Br
2021-06-05 09:59:54
1790
原创 druid问题
1.为什么druid的两个worker负载不均匀起 task 都是随机起的，这个节点起了3个，那个节点起了1个，是正常现象2.Druid修改时区问题要用东八区可以采用别的方式绕过。最理想的方式是数据入库全部转化为unix时间戳。如果做不到这个，可以把北京时间当作utc时间入库数据写入是UNIX时间戳 你查询可以带时区 可以参考这个文档https://druid.apache.org/docs/0.19.0/querying/granularities.html#period-granular
2021-06-05 09:59:12
644
原创 presto优化及问题
1 Presto性能调优1.1 概述1.1.1 Presto架构图1-1 Presto架构Presto是一个分布式的查询引擎，本身并不存储数据，但是可以接入多种数据源，并且支持跨数据源的级联查询。Presto的架构分为：Coodinator：解析SQL语句，生成执行计划，分发执行任务给Worker节点执行。Discovery Server：Worker节点启动后向Discovery Server服务注册，Coordinator从Discovery Server获得可以正常工作的Worker节
2021-06-04 20:17:31
766
原创 openLdap脚本操作
一、mapreduce作业oom1、任务还没启动,直接oom报错AM日志：21/05/10 15:15:13 INFO mapreduce.Job: Task Id : attempt_1617064346277_101596_m_000000_1, Status : FAILEDError: Java heap space21/05/10 15:15:16 INFO mapreduce.Job: Task Id : attempt_1617064346277_101596_m_000000_2, S
2021-06-04 20:16:56
341
原创 oozie使用命令
1.提交作业，作业进入PREP状态oozie job -oozie http://localhost:11000/oozie -config job.properties -submitjob: 14-20090525161321-oozie-joe2.执行已提交的作业oozie job -oozie http://localhost:11000/oozie -start 14-20090525161321-oozie-joe3.直接运行作业oozie job -oozie http://loc
2021-06-04 20:16:23
231
原创 superset问题
组件升级：新建 0.36.0 虚拟环境cd /opt/apps/ecm/service/supersetmkdir -p 0.36.0/packagecd 0.36.0/packagevirtualenv -p /usr/bin/python3.6 superset-0.36.0cd superset-0.36.0安装 superset-0.36.0 及依赖包source bin/activatepip install apache-superset==0.36.0 gevent
2021-06-04 20:15:54
276
原创 Hue中使用sqoop问题汇总
Hue中执行Sqoop的方法和注意事项。包含部分遇到的问题和解决方法。操作用户：bigdataHue提供执行Sqoop命令的功能。使用方法与在终端执行Sqoop命令不同，在Hue中执行Sqoop命令，应该直接使用Sqoop的一级子命令。Sqoop在终端和Hue执行的区别在终端执行sqoop-import \ -D org.apache.sqoop.splitter.allow_text_splitter=true \ --connect jdbc:postgresql://postg
2021-06-04 20:15:20
395
原创 Hbase问题
hbase hbck是hbase自带的一项非常实用的工具，很多hbase中出现的问题都可以尝试用hbase hbck修复。新版本的hbck从 hdfs目录、META、RegionServer这三处获得region的Table和Region的相关信息，根据这些信息判断并尝试进行repair。新版本的 hbck 可以修复各种错误，修复选项是：（请注意选项后面是否需要加具体表名）（1）-fix向下兼容用，被-fixAssignments替代（2）-fixAssignments用于修复region as
2021-06-04 20:14:51
509
原创 Hive问题
1、hivemta库有问题。如果确定元数据可以删除的话，按照以下步骤处理方案1：重建在mysql或rds中 drop hivemeta库在header机器上执行命令 schematool -initSchema -dbType mysql在emr控制台页面重启hive metastore组件方案2：按顺序执行下面语句配置独立RDS，作为Hive的元数据管理，需要注意，RDS有没有对EMR 集群开通了安全组白名单2、hive使用时用户使用自带的第三方jar需要在hive_aux_jars
2021-06-04 20:14:21
3354
原创 Spark问题和调优
1.spark的性能调优问题：问题1：num-executors，execuor-cores和executor-memory的分配driver.memory ：driver运行内存，默认值512m，一般2-6Gnum-executors ：集群中启动的executor总数executor.memory ：每个executor分配的内存数，默认值512m，一般4-8Gexecutor.cores ：每个executor分配的核心数目yarn.am.memory ：AppMaster内存，默认值51
2021-06-04 20:13:52
431
原创 zepplin安装流程
前面几章博客讲了Hadoop和hive的安装，这里直接安装zeppelin在安装zeppelin之前确保 (电脑->管理->服务和应用程序->服务) 中VMware相关服务已开启，并确保虚拟机可以联网。通过zeppelin实现hive的查询结果的可视化↓下载好了以后拖拽到用户的home文件夹下打开终端cd到用户home文件夹下，解压缩tar -zxvf zeppelin-0.7.3-bin-all.tgz进入到zeppelin的配置文件夹下cd ~/zeppelin-0.7
2021-06-04 20:13:03
463
1
原创 linux常用命令
1、cat /proc/loadavg # 查看系统负载磁盘和分区mount | column -t # 查看挂接的分区状态2、swapon -s # 查看所有交换分区hdparm -i /dev/hda # 查看磁盘参数(仅适用于IDE设备)dmesg | grep IDE # 查看启动时IDE设备检测状况网络ifconfig # 查看所有网络接口的属性3、cut -d: -f1 /etc/passwd # 查看系统所有用户4、cut -d: -f1 /etc/group # 查看系统所有组cron
2021-06-03 14:37:52
61
原创 linux之安装mysql
1、准备mysql安装包，将mysql安装包上传linux2、查看mysql是否安装，如果安装了，卸载mysql(1)查看[root@hadoop102 桌面]# rpm -qa|grep mysqlmysql-libs-5.1.73-7.el6.x86_64(2)卸载[root@hadoop102 桌面]# rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_643、解压mysql-libs.zip文件到当前目录[root@hadoop102 sof
2020-09-27 23:21:00
148
原创 Java之骑士周游回溯算法
测试方法及核心方法:public class HorseChessboard { private static int X;//棋盘的列数 private static int Y;//棋盘的行数 //创建一个数组，标记棋盘的各个位置是否被访问过 private static boolean visited[]; //使用一个属性，标记是否棋盘的所有位置都被访问过 private static boolean finished;//如果是true,表示成功
2020-09-24 23:11:31
291
原创 Java之克鲁斯卡尔算法求最小生成树
创建一个类EData，它的对象实例就表示一条边public class EData { char start;//边的一个点 char end;//边的另外一个点 int weight;//边的权值 //构造器 public EData(char start, char end, int weight) { this.start = start; this.end = end; this.weight = weigh
2020-09-23 22:28:27
697
原创 Java之迪杰斯特拉算法
典型最短路径算法(1)、弗洛伊德算法vs 迪杰斯特拉算法，迪杰斯特拉算法通过选点的被访问(2)、顶点，求出从出发访问顶点到其他顶点的最短路径。弗洛伊德算法中每个(3)、顶点都是出发访问点，所有需要将每一个顶点看做被访问顶点，求出从(4)、每个顶点到其他顶点的最短路径创建图矩阵:public class Graph { private char[] vertex;//顶点数组 private int[][] matrix;//邻接矩阵 private VisitedVert
2020-09-22 21:26:40
183
原创 Java之弗洛伊德算法
创建图及弗洛伊德核心算法public class Graph { private char[] vertex;//存放顶点的数组 private int[][] dis;//保存，从各个顶点出发到其他顶点的距离，最后的结果，也是保留在该数组 private int[][] pre;//保存到达目标顶点的前驱顶点 //构造器 /** * @param length 大小 * @param matrix 邻接矩阵 * @param ve
2020-09-21 23:49:56
457
原创 Java之普利姆算法最小生成树
创建图:class MGraph { int verxs;//表示图的节点个数 char[] date;//存放节点数据 int[][] weight;//存放边，就我们的邻接矩阵 public MGraph(int verxs) { this.verxs = verxs; date = new char[verxs]; weight = new int[verxs][verxs]; }}创建最小生成树->
2020-09-18 20:45:58
206
原创 Java之分治算法
main方法及分治算法相关代码：public static void main(String[] args) { hanoiTower(5, 'A', 'B', 'C'); } //汉诺塔的移动方法 //使用分治算法 public static void hanoiTower(int num, char a, char b, char c) { //如果只有一个盘 if (num == 1) { S
2020-09-17 22:46:52
206
原创 Java之贪心算法
思路分析及main方法测试:public static void main(String[] args) { //创建广播电台，放入到Map Map<String, HashSet> broadcasts = new HashMap<>(); //将各个电台放入到broadcasts HashSet<String> hashSet1 = new HashSet<>(); hash
2020-09-16 21:33:24
229
原创 Java之动态规划算法-＞背包问题
代码及相关分析思路如下:public class KnapsackProbleam { public static void main(String[] args) { //说明 物品的重量要和物品的价值相对应 int[] w = {1, 4, 3};//物品的重量 int[] val = {1500, 3000, 2000};// 物品的价值 这里val[i] 就是前面讲的v[i] int m = 4;//背包的容量
2020-09-15 20:36:11
205
原创 java之KMP搜索算法
kmp搜索算法 /** * @param str1 源字符串 * @param str2 子串 * @param next 部分匹配表，是子串对应的部分匹配表 * @return 如果是-1就没有匹配到，否则返回第一匹配的位置 */ public static int kmpSearch(String str1, String str2, int[] next) { //遍历 for (int i = 0, j
2020-09-14 22:09:57
165
原创 Java之二分查找非递归方式
/** * @param arr 待查找的数组 arr是升序排序 * @param target 需要查找的数 * @return 返回对应下标，-1表示没有找打 */ public static int binarySearch(int[] arr, int target) { int left = 0; int right = arr.length - 1; while (left <= ri.
2020-09-11 21:47:44
102
原创 Java之图计算
图的遍历分两种一种是深度 是纵向的，另外 一种是广度 是横向的。main方法测试及深度和广度方法public class Graph { private ArrayList<String> vertexList;//存储顶点集合 private int[][] edges;//存储图对应的邻结矩阵 private int numOfEdges;//表示边的数目 //定义给数组boolean[],记录某个节点是否被访问 private boolean
2020-09-10 21:06:23
632
原创 Java之AVL树 左旋转和右旋转
创建Node节点public class Node { int value; Node left; Node right; public Node(int value) { this.value = value; } //返回左子树的高度 public int leftHeight() { if (left == null) { return 0; } retu
2020-09-09 22:42:47
233
原创 Java之二叉树删除节点操作
创建Node节点public class Node { int value; Node left; Node right; public Node(int value) { this.value = value; } //查找要删除的节点 /** * @param value 希望删除的节点 * @return 如果找到返回该节点，否则返回null */ public Node search
2020-09-08 22:27:55
982
原创 Java之赫夫曼树压缩和解压
创建Node,待数据和权值class Node implements Comparable<Node> { Byte data;//存放数据本身，比如 'a'=>97 ' '=>32 int weight;//权值，表示字符出现的次数 Node left; Node right; public Node(Byte data, int weight) { this.data = data; this.weigh
2020-09-07 22:46:56
109
原创 Java之赫夫曼树
创建节点类，为了让Node，对象持续排序Collections集合排序，让Node 实现Comparable 接口public class Node implements Comparable<Node> { int value;//节点授权 Node left;//指左子节点 Node right;//指向右子节点 //前序遍历 public void preOrder(){ System.out.println(this);
2020-09-04 21:04:22
280
原创 Java之中序二叉树实现
创建HeroNode 节点及方法class HeroNode { private int no; private String name; private HeroNode left;//默认null private HeroNode right;//默认null //说明 //1、说明如果leftType==0 表示指向的是左子树，如果1 则表示指向前驱节点 //2、如果 rightType == 0 表示指向的是右子树，如果是1 表示指向后继节点
2020-09-03 21:48:22
162
原创 Java之堆排序
public class HeapSort { public static void main(String[] args) { //要求将数组进行升序排序// int[] arr = {4, 6, 8, 5, 9,-1,99,56}; int[] arr = new int[8000000]; for (int i = 0; i < 8000000; i++) { arr[i] = (int) (Mat
2020-09-02 22:24:04
361
原创 Java之二叉树前中后遍历
先创建HeroNode 节点public class HeroNode { private int no; private String name; private HeroNode left;//默认null private HeroNode right;//默认null public HeroNode(int no, String name) { this.no = no; this.name = name; }
2020-09-01 22:49:42
176
原创 Java之HashTab基本用法
表示一个雇员public class Emp { public int id; public String name; public Emp next;//next 默认为 null public Emp(int id, String name) { super(); this.id = id; this.name = name; }}创建EmpLinkedList,表示链表public class Emp
2020-08-31 21:50:48
440
原创 Java之斐波那契数列
//因为后面我们用到mid=low+F(k-1)-1,需要使用斐波那契数列，因此我们需要先获取到//非递归方法得到一个斐波那契数列 public static int maxSize = 20; public static int[] fib() { int[] f = new int[maxSize]; f[0] = 1; f[1] = 1; for (int i = 2; i < maxSize; i++) {
2020-08-28 22:36:50
515
原创 Java之插值查找算法
插值查找算法相当于二分查找的优化版应用场景:①对于数据量较大，关键字分布比较均匀的查找表来说，采用插值查找，速度较快②关键字分布不均匀的情况下，该方法不一定比折半查找要好注意:插值查找算法，也要求数组是有序的代码如下: /** * @param arr 数组 * @param left 左边索引 * @param right 右边索引 * @param findVal 查找的值 * @return 如果找到，就返回对应的下标，
2020-08-27 23:20:57
320
原创 Java之二分查找
①未考虑数组中有重复的值的情况代码:/** * @param arr 数组 * @param left 左边的索引 * @param right 右边的索引 * @param findVal 要查找的值 * @return 如果找到就返回下标，如果没有找到，就返回-1 */ public static int binarySearch(int[] arr, int left, int right, int findVal
2020-08-26 22:21:20
88
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人