自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(432)
  • 收藏
  • 关注

原创 Protocol Buffer(安装+使用)

目录Protocol Buffers介绍Idea 安装protobuf插件使用ProtoBuf序列化数据执行protobuf:compile编译命令Protocol Buffers介绍Protocal Buffers(简称protobuf)是谷歌的一项技术,用于结构化的数据序列化、反序列化,常用于RPC 系统和持续数据存储系统。其类似于XML生成和解析,但protobuf的效率高于XML,不过protobuf生成的是字节码,可读性比XML差,类似的还有json、Java的Serializable等。

2021-02-24 23:02:44 7

原创 Datagrip连接hive数据库

目录datagrip连接Hive客户端常用配置下载不起driver文件请看这里datagrip连接Hive客户端1)启动datagrip后的初始页面2)连接hive客户端3)启动hiveserver24)配置连接hive客户端参数5)显示hadoop102数据库6)显示控制台7)在控制台上选择操作hadoop102数据库常用配置1)进入配置页面2)修改字体大小通过鼠标滚动,设置字体大小。3)修改背景颜色为豆绿色下载不起driver文件请看这里解决方案点

2021-02-23 23:15:58 11

原创 Hbase-2.0.5安装

Zookeeper和Hadoop都要启动!HBase的解压解压HBase到指定目录:tar -zxvf hbase-2.3.4-bin.tar.gz -C /export/serversHBase的配置文件修改HBase对应的配置文件。1)hbase-env.sh修改内容:export JAVA_HOME=/export/servers/jdkexport HBASE_MANAGES_ZK=false2)hbase-site.xml修改内容:<configuration>

2021-02-22 18:50:16 8

原创 解决使用hive启动打印大量INFO日志问题

报错原因由于hbase和hive不匹配hbase2.3.4(最新的)和hive3.1.2解决方案hbase版本换低一点2.0.5查看效果没装hbase的时候安装hbase2.3.4启动安装hbase2.0.5启动

2021-02-22 18:46:03 12

原创 启动hadoop,报错Error JAVA_HOME is not set and could not be found

启动hadoop报错解决方案检查java -version在hadoop-env.sh中,再显示地重新声明一遍JAVA_HOME

2021-02-22 10:07:04 6

原创 Kylin启动报错hbase-common lib not found

报错原因兼容问题解决解决方案修改/export/servers/kylin/bin/find-hbase-dependency.sh增加[common-shaded-client]

2021-02-21 22:01:44 7

原创 kylin在启动后Web UI无法打开

如果启动kylin没有报错,出现这种情况,换一个ui地址解决方案http://hadoop102:7070/换成http://hadoop102:7070/kylin/login

2021-02-21 21:55:11 30

原创 Hbase与Hadoop版本对应

官网http://hbase.apache.org/book.html#basic.prerequisites

2021-02-21 20:07:38 25

原创 hive parse_url函数的使用

常见的参数有:PROTOCOL,HOST,PATH,QUERY解析协议:hive > select parse_url('https://www.baidu.com/hzy?user_id=10000&platform=ios','PROTOCOL'); https 解析主机名:hive > select parse_url('https://www.baidu.com/hzy?user_id=10000&platform=ios','HOST'); www.b

2021-02-20 19:39:58 10

原创 Scala中breakable

基本说明Scala内置控制结构特地去掉了break和continue,是为了更好的适应函数式编程,推荐使用函数式的风格解决break和continue的功能,而不是一个关键字。Scala中使用breakable控制结构来实现break和continue功能。两种方法import scala.util.control.Breaksobject test {def main(args: Array[String]): Unit = { Breaks.breakable( f

2021-02-18 21:36:45 9

原创 hive什么时候用msck修复分区

举个例子创建分区表语法create table dept(name string,age int)partitioned by (month string)row format delimited fields terminated by '\t';插入数据方法load data local inpath '/export/data/dept.txt' into table default.dept partition(month='201709');Loading data to ta

2021-02-18 19:46:15 13

原创 Sacla中apply伴生对象

说明(1)通过伴生对象的apply方法,实现不使用new方法创建对象。(2)如果想让主构造器变成私有的,可以在()之前加上private。(3)apply方法可以重载。(4)Scala中obj(arg)的语句实际是在调用该对象的apply方法,即obj.apply(arg)。用以统一面向对象编程和函数式编程的风格。(5)当使用new关键字构建对象时,调用的其实是类的构造方法,当直接使用类名构建对象时,调用的其实时伴生对象的apply方法。object test { def main(arg

2021-02-18 11:56:41 4

原创 Flume采集日志写到Hdfs(数仓项目)

目录Flume版本选择项目流程Flume核心配置启动flume agent采集数据思考问题 hdfs路径是否正确flume自定义拦截器Flume版本选择Flume 1.6无论是Spooling Directory Source和Exec Source均不能满足动态实时收集的需求Flume 1.7+提供了一个非常好用的TaildirSource使用这个source,可以监控一个目录,并且使用正则表达式匹配该目录中的文件名进行实时收集Taildir Source可实时监控一批文件,并记录每个文

2021-02-17 19:47:11 30

原创 Flume采集数据到HDFS时,文件出现乱码

hdfs.fileType生成的文件类型,默认是SequencefileDataStream,则为普通文本解决方案在hdfs sink加一行a1.sinks.k1.hdfs.fileType = DataStream

2021-02-17 18:54:42 6

原创 Flume-1.9.0的安装部署

安装地址(1) Flume官网地址:http://flume.apache.org/(2)文档查看地址:http://flume.apache.org/FlumeUserGuide.html(3)下载地址:http://archive.apache.org/dist/flume/安装部署(1)将apache-flume-1.9.0-bin.tar.gz上传到linux的/export/software目录下(2)解压apache-flume-1.9.0-bin.tar.gz到/export/se

2021-02-17 09:49:45 16

原创 FAILED: SemanticException Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveExce

FAILED: SemanticException Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create Spark client due to invalid resource request: Required executor memory (2048), overhead (384 MB), and PySpark memory (0 MB) is above

2021-02-16 16:08:36 21

原创 Fatal error occurred when node tried to create too many dynamic partitions. The maximum number of dy

Job failed with org.apache.hadoop.hive.ql.metadata.HiveFatalException: [Error 20004]: Fatal error occurred when node tried to create too many dynamic partitions. The maximum number of dynamic partitions is controlled by hive.exec.max.dynamic.partitions and

2021-02-15 21:10:23 7

原创 SQL5.7 Invalid default value for ‘create_time‘ error

1.报错内容Invalid default value for 'create_time'time: 0.001s2.分析MySQL5.7的timestamp设定默认值规则不能为”0000 00-00 00:00:00”3. 解决问题:mysql> set sql_mode="ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTIO

2021-02-13 23:47:55 6

原创 hive on spark编译

一.前置条件官网下载Spark源码Spark2.2.0版本文档地址:https://spark.apache.org/docs/2.4.5/必备条件:Maven requires Maven 3.5.4 and Java 8安装maven链接:https://pan.baidu.com/s/13sVa3Z6SktogXDlnNe89Yw 提取码:iuja 1.解压maven tar -zxvf apache-maven-3.6.1-bin.tar.gz -C /export/ser

2021-02-13 20:36:35 50

原创 hive和hadoop版本对应关系

hive和hadoop版本对应关系http://hive.apache.org/downloads.html

2021-02-12 13:54:57 81

原创 Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException):

Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=19095, access=WRITE, inode="/hadoop/test":root:supergroup:drwxr-xr-x错误:用户没有权限解决:# 修改权限hadoop fs -chmod -R 777 /...

2021-02-09 23:41:07 10

原创 kettle转换mysql表数据中文乱码问题

解决方案参数 characterEncoding 默认值 utf-8

2021-02-09 18:22:51 13

原创 Kettle安装、配置

环境要求:安装、配置好JDK1、下载Kettle链接:https://pan.baidu.com/s/167mB7fFDUYUxng4wvBtDUQ 提取码:9cer 2、解压Kettle3、双击spoon.bat 启动spoon

2021-02-09 15:06:06 23

原创 FATAL [hadoop102:16000.activeMasterManager] master.HMaster: Unhandled exception. Starting shutdown.

FATAL [hadoop102:16000.activeMasterManager] master.HMaster: Unhandled exception. Starting shutdown.org.apache.hadoop.hbase.util.FileSystemVersionException: HBase file layout needs to be upgraded. You have version null and I want version 8. Consult http://

2021-02-07 19:56:41 19

原创 Error attaching to process: sun.jvm.hotspot.runtime.VMVersionMismatchException

[root@hadoop102 ~]# jmap -heap 9578Attaching to process ID 9578, please wait...Error attaching to process: sun.jvm.hotspot.runtime.VMVersionMismatchException: Supported versions are 25.275-b01. Target VM is 25.211-b12sun.jvm.hotspot.debugger.DebuggerExc

2021-02-05 20:12:01 9

原创 /var/run/下文件重启被删除

解决方案文件可以放置在/etc/tmpfiles.d、/run/tmpfiles.d或/usr/lib/tmpfiles.d中,但最后一种更常用根据自己创建一个文件名/usr/lib/tmpfiles.d(名字随便起)touch impala.conf里面的内容d /var/run/hdfs-sockets 0755 root root意思就是重启,会在/var/run/目录下创建hdfs-socketsd代表目录,旁边是路径,权限,所有者和组。参考...

2021-02-03 19:18:02 53

原创 Hue的安装+集成(Hdfs,Yarn,Hive,Mysql,Hbase,Impala)

1.上传解压安装包Hue的安装支持多种方式,包括rpm包的方式进行安装、tar.gz包的方式进行安装以及cloudera manager的方式来进行安装等,我们这里使用tar.gz包的方式来进行安装。Hue的压缩包的下载地址:http://archive.cloudera.com/cdh5/cdh/5/我们这里使用的是CDH5.14.0这个对应的版本,具体下载地址为http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.0.tar.gz

2021-02-02 21:06:05 48

原创 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in secureMain java.io.IOException:

2021-01-30 21:35:37,008 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in secureMainjava.io.IOException: failed to stat a path component: '/var/run/hdfs-sockets'. error code 2 (No such file or directory) at org.apache.hadoop.net.unix.D

2021-01-30 21:41:24 23

原创 There are 17 missing blocks. The following files may be corrupted:

打开hadoop网页出现There are 17 missing blocks. The following files may be corrupted:发现data怎么也起不来!解决方案1.查看缺失文件hdfs fsck /2.删除缺失的文件hadoop fsck -delete

2021-01-30 21:28:55 15

原创 Impala安装部署

Impala安装部署安装前提集群提前安装好hadoop,hive。hive安装包scp在所有需要安装impala的节点上,因为impala需要引用hive的依赖包。hadoop框架需要支持C程序访问接口,查看下图,如果有该路径下有这么文件,就证明支持C接口。下载安装包、依赖包由于impala没有提供tar包进行安装,只提供了rpm包。因此在安装impala的时候,需要使用rpm包来进行安装。rpm包只有cloudera公司提供了,所以去cloudera公司网站进行下载rpm包即可。但是另外一

2021-01-30 21:19:00 20

原创 Requires: libsasl2.so.2()(64bit)You could try using --skip-broken to work around the problem You co

--> Finished Dependency ResolutionError: Package: impala-2.11.0+cdh5.14.0+0-1.cdh5.14.0.p0.50.el6.x86_64 (localimp) Requires: libsasl2.so.2()(64bit)Error: Package: impala-shell-2.11.0+cdh5.14.0+0-1.cdh5.14.0.p0.50.el6.x86_64 (localimp)

2021-01-29 17:43:06 20

原创 linux下安装mysql(yum命令)

安装mysql如果这种方法最后启动不了,请试第二种方法第一步:在线安装mysql相关的软件包yum install mysql mysql-server mysql-devel第二步:启动mysql的服务/etc/init.d/mysqld start第三步:通过mysql安装自带脚本进行设置/usr/bin/mysql_secure_installation第四步:进入mysql的客户端然后进行授权grant all privileges on *.* to 'root'@

2021-01-28 23:21:16 8

原创 Exception in thread “main“ java.lang.AbstractMethodError

Exception in thread "main" java.lang.AbstractMethodError at org.apache.spark.internal.Logging$class.initializeLogIfNecessary(Logging.scala:99) at org.apache.spark.streaming.kafka010.KafkaUtils$.initializeLogIfNecessary(KafkaUtils.scala:40) at org.apache

2021-01-26 18:37:26 10

原创 springboot_mysql-发送数据接口

在pom.xml添加依赖<dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>5.1.47</version></dependency><dependency> <groupId>org.mybatis.spring.boot<...

2021-01-25 20:51:03 11

原创 ip2region.db ip定位——GitHub

官网https://github.com/lionsoul2014/ip2regionmaven安装<dependency> <groupId>org.lionsoul</groupId> <artifactId>ip2region</artifactId> <version>1.7.2</version></dependency>我们还需要ip2region.db链接:ht

2021-01-24 21:26:03 35

原创 Error: JAVA_HOME is not set and java could not be found in PATH.

使用脚本启动zookeeper报错解决方案在zookeeper目录下bin打开zkEnv.sh添加一行代码(java路径)

2021-01-22 22:30:50 38

原创 on duplicate key update的含义

语句的作用,当insert已经存在的记录时,执行Update举例id为主键如果使用普通的插入,会报错如果使用on duplicate key update

2021-01-19 23:17:12 12

原创 Spark中join使用joinExprs和usingColumns的区别

区别是Seq可以去重

2021-01-16 22:15:24 21

原创 Scala中的isInstanceOf和asInstanceOf区别

判断对象是否属于某个给定的类,可以用isInstanceOf方法;用asInstanceOf方法将引用转换为子类的引用。obj.isInstanceOf[T]就如同Java的obj instanceof T 判断obj是不是T类型。obj.asInstanceOf[T]就如同Java的(T)obj 将obj强转成T类型。下面做一个示范isInstanceOf...

2021-01-09 22:22:20 32

原创 hadoop中的垃圾回收站

回收站保留半小时数据[root@hadoop302 hadoop]# vim core-site.xml<property><name>fs.trash.interval</name><value>30</value></property>展示我们准备删除test删除发现已经删掉了恢复查看结果...

2021-01-06 17:11:20 13

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除