- 博客(22)
- 收藏
- 关注
RSS订阅原创 执行hive -f 脚本时 com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure
cd $HIVE_HOME/binvi hive-site.xml报错原因是hive-site.xml中配置不完整或配置项错误导致<configuration><property><name>hive.metastore.warehouse.dir</name><value>/opt/software/hadoop/hive110/warehouse</value></property><propert
2021-03-11 22:46:01
620
1
原创 hive中metastore启动异常 cannot access /home/hadoop/spark-2.2.0-bin-hadoop2.6/lib/spark-assembly-*.jar:
输入hive --service metastore命令时会自动断开jps查看进程发现RunJar自动消失解决方案：cd $HIVE_HOME/binvi hive将其中sparkAssemblyPath=`ls ${SPARK_HOME}/lib/spark-assembly-*.jar`修改为 sparkAssemblyPath=`ls ${SPARK_HOME}/jars/*.jar`...
2021-03-11 22:33:52
288
原创 Flume 报错指南
在启动命令flume后：flume-ng agent -n a1 --conf /opt/software/flume160/conf/ -f /opt/flumeconf/file_hdfs.conf -Dflume.root.logger=INFO,console-n 表示重命名–conf flume的conf目录读取配置文件-f 读取本次flume执行操作的配置文件（sources、channels、sinks的具体配置）-Dflume.root.logger=INFO,console
2021-03-11 00:12:10
906
原创 Starting namenodes on [single] single: ssh: connect to host single port 22: Connection refused
出现这个问题多半是配置信息中的IP地址错误导致的，正确的IP以/etc/sysconfig/network-scripts/ifcfg-ens33中配置的IPADDR（能ping通外网）为准①检查hostsvi /etc/hosts 这里以我自己的配置为例，查看 hosts中的映射配置，确保192.168.56.130 single中的IP地址正确②检查hadoop配置项中的core-site.xml进入hadoop/etc/hadoop目录中，查看core-site.xml,确保配置中的IP地
2021-03-10 22:33:43
1652
原创 hive数据倾斜
数据倾斜的定义：数据分布的不均匀，造成大量的数据集中在一个点主要表现情况：任务进度长时间卡在99%，查看任务监控页面，发现有少量reduce子任务没完成，原因是其处理的数据量远超其他的reduce处理的数据量。容易数据倾斜的情况①group by不和聚合函数一起使用时，当某值的数量过多，会导致处理某值的reduce耗时长②count(distinct)时某特殊值过多，会导致处理此特殊值的reduce耗时长③Join 其中一个表较小，但是key集中，会导致分发到某一个或几个Reduce上的数据远
2021-03-01 23:47:21
87
原创 IDEA运行报错 Error:Failed to load project configuration: cannot parse file
运行时报错原因出现类似的情况（主要是第一行的报错）：Error:Failed to load project configuration: cannot parse file C:\Users\Saber\.IntelliJIdea2018.2\system\external_build_system\homework3.5f881feb\project\compiler.xml: Error on line 1: 前言中不允许有内容。可能引起的原因是上次IDEA在运行过程中被异常关闭，导致了当前
2021-01-25 23:30:32
14906
4
原创 虚拟机在windows端做映射
在虚拟机上做完映射后，在IDEA上写连接程序时，无法用主机名来进行连接，需要在windows上也做一次映射此时会看到在cmd命令面板上无法用主机名ping到c盘的Windows ——》System32——》drivers——》etc目录下，找到hosts文件这里是无法对其直接修改的，复制hosts到桌面，右击打开方式，我这里使用的Notepad++软件可以直接打开这个文本，也可以重命名为hosts.txt来直接打开在任意的空白处，写上虚拟机的ip地址和主机名去除后缀.txt，将其贴回原来路
2021-01-20 23:18:57
692
1
原创 spark-toHive、tomysql、tohbase
一、Spark to Hive1、打开虚拟机，将Hive的配置文件（conf下的hive-site.xml)拷贝到Spark的配置文件目录下(conf)，软拷贝硬拷贝皆可以ln -s /opt/software/hadoop/hive110/conf/hive-site.xml /opt/software/hadoop/spark//conf/hive-site.xml2、拷贝jar包（mysql-connector-java-5.1.32.jar 拷贝到Spark的jars目录下cp /op
2021-01-10 20:09:22
275
原创 JDBC-连接hbase
代码：public class HBASEClientDemo { @Test public void createTable() throws IOException { //1.获取hbase连接，配置 //hbase.zookeeper.property.clientPort Configuration conf = HBaseConfiguration.create(); //ATTENTION PL
2021-01-10 18:45:02
2424
原创 JDBC-连接mysql
一、创建Maven①创建时选择Maven类型②在poom中，导入依赖<dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.11</version> <scope>test</scope>
2021-01-10 18:42:22
100
原创 JDBC-连接Hive
一、创建Maven①创建时选择Maven类型②在poom中，导入依赖<dependencies><dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.11</version> <scope>test</scope></dependency>&l
2021-01-10 18:26:12
137
原创 常用工具类
//常用工具类//基本类型对应的包装类//包装类型优势//提供了一系列针对该类型的函数//包装类型的默认初值都为null//比如：Boolean = null (Boolean = false/true)//自动装拆箱例子：Integer c = 5;Integer c = new Integer(value:5);//装箱两者表示的意思一样 System.out.println(c);//拆箱 char Character String String byte Byte
2020-11-18 19:48:06
101
原创 流、线程
//流//了解：//传输协议//QQ[IP]UDP（用户数据包协议）/[TCP]SMTP/FTP/HTTP[S]//流：不同进程间数据传输的机制//本质：（硬件）二进制/（Java）字节数组//分类：方向：输出/输入内容：字符/字节功能：节点流（直接面向数据源）/处理流//文件：File(文件/目录)File file =new File(String path);//相对路径:根目录为当前工程根目录//绝对路径：从分区盘符开始到目标的完整路径//路径的表示方式：c:\d
2020-11-18 19:45:20
178
原创 java高级特性-集合-正则-泛型
//Java高级特性//集合：集中后合在一起//理解：存放不定数量的不定类型的内容可变的容器，且可以根据需要自由提取元素//集合行为：创建、添加元素、删除元素、修改元素、查看元素、数量统计、排序…//只能存储引用类型，如果是基本类型的话，则需要包装Iterable:可迭代 Collection（相当于单一元素对象数组）特点：不唯一（可以存放重复的），无序的子接口：List 特点：不唯一，有序（先进先出first in，first out）类：【ArrayList】：与vector功能一致
2020-11-18 19:39:14
197
1
原创 Java高级特性
//Java高级特性//集合：集中后合在一起//理解：存放不定数量的不定类型的内容可变的容器,且可以根据需要自由提取元素//集合行为：创建、添加元素、删除元素、修改元素、查看元素、数量统计、排序//只能存储引用类型，如果基本类型，则使用包装类Iterator:可迭代 Collection:不唯一，无序 List：不唯一，有序（first in,first out） 【ArrayList】：线程不安全 Vector：线程安全 【LinkedList】：线程不安全
2020-11-15 23:09:39
97
原创 JAVA-OOP
//基本类型和引用类型int a = 5; int b =a;将变量a的值，拷贝一个副本给变量b，变量a和b是互相独立的。int[] a ={1}; int[] b = a; 将数组a引用的地址，拷贝一个副本给数组b，数组a和b指向同一个数组。Student a = new Student(); Student b =a; 同数组//oop:object oriented programming//抽象: 模具（类）//类：class//访问修饰符 [abstract/static/fina
2020-11-15 22:59:12
100
原创 Java排序算法封装
冒泡（1） int[] a = {3,6,2,13,24,15,7}; for(int i=0,t;i<a.length-1;i++){ for(int j=0;j<a.length-1-i;j++){ if(a[j]>a[j+1]){ t=a[j]; a[j]=a[j+1]; a[j+1]=t;
2020-10-07 23:33:44
285
原创 JAVA基础题练习
顺序插入：插入有序 Scanner input = new Scanner(System.in); char[] arr2 = {'b','d','f','i','k','m','x',(char)0}; char t2 = input.next().charAt(0); //输入字符 int i = arr2.length-2; for(; i>=0; i--){ //for循环功能是：以第一次循环为例，for循环做判断，若输入的字符值大于arr2
2020-10-07 23:17:37
783
原创 JAVA基础(分支、循环、一维数组）
//分支结构//单分支if(条件){代码}//双分支if（条件）{代码} else{代码}//多分枝if（条件1）{代码1} else if（条件2）{代码2}…else{代码N} //if做区间条件switch(算术表达式) {case 常量1：代码1；break;…default:代码N；} //switch做等值条件（贯穿现象，只支持long以下的整数(char,枚举)，JDK1.8之后开始支持String）//嵌套分支if(){if(){}switch(){}}/
2020-09-28 00:26:31
198
原创 JAVA基础（类的命名规则、数据类型、变量的定义、控制台输入与输出、运算符）
JAVAJava是一个平台//JVM java virtual machine JAVA虚拟机（用软件模拟硬件）//JRE java runtime environment JAVA运行时环境//JDK java development toolkit JAVA开发工具包//目录：bin//jar.exe 打jar包//java.exe 编译java源程序 -> 生成字节码程序//javac.exe 执行java字节码程序-> 启动虚拟机//java
2020-09-28 00:14:16
202
原创 前端开发（CSS）
本篇对CSS的基础知识做一个简单的描述选择器：1、ID选择器2、类选择器（1）无须唯一（2）选择性使用（3）组合使用3、标签选择器4、*{ } #name{...} <div id="name"></div> (div即为标签） name即(名称） .name{...} <div class="name"></div> li{...} <li>...</li>HTML页面
2020-09-20 20:28:59
63
原创 前端
前端开发简介(HTML)本篇文章主要介绍前端的基础知识，并带大家认识什么是前端。此篇HTML的一些基础知识进行描述。#html页面的基本结构：htmlheadbody #html常用标签： （1）行内元素：默认按行显示，没有宽高，也不可以设置宽高，实际宽高由内容决定 a标签 超链接： <a href="目标资源地址“ target=“方式”>提示内容</a> url=>uniform resource locator（目标资源地址） t
2020-09-20 19:51:48
115
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人