- 博客(107)
- 收藏
- 关注
RSS订阅原创 MAC环境，在IDEA执行报错java: -source 1.5 中不支持 diamond 运算符
Error:(41, 51) java: -source 1.5 中不支持 diamond 运算符 (请使用 -source 7 或更高版本以启用 diamond 运算符)
2023-08-15 10:36:07
988
原创 spark读取oracle ebs排坑No matching authentication protocol
特别建议：Oracle9.0以后的版本都建议使用：“oracle.jdbc.OracleDriver”加载驱动类，而不再使用“oracle.jdbc.driver.OracleDriver”.3.解决方法：更新驱动版本，我是直接拿DBeaver的驱动包，找到对应的存储文件。报错No matching authentication protocol。1.先在DBeaver输入登陆信息上正常登陆，测试账号等信息正常。刚开始pom文件配置的是，调试了很多遍，都是。pom文件更新成导入jar包的版本。
2022-12-13 17:28:38
506
1
原创 clickhouse分片集群部署与错误记录
副本虽然能够提高数据的可用性，降低丢失风险，但是每台服务器实际上必须容纳全量数据，对数据的横向扩容没有解决。要解决数据水平切分的问题，需要引入分片的概念。通过分片把一份完整的数据进行切分，不同的分片分布到不同的节点上，再通过 Distributed 表引擎把数据拼接起来一同使用。Distributed 表引擎本身不存储数据，有点类似于 MyCat 之于 MySql，成为一种中间件，通过分布式逻辑表来写入、分发、路由来操作多台节点不同分片的分布式数据。注意：ClickHouse 的集群是表级别
2022-01-11 15:27:37
1889
原创 解决Exception in thread “main“ java.lang.NoClassDefFoundError: com/alibaba/fastjson/JSONObject
尝试了一些操作之后发现将对应的包com.alibaba:fastjson:1.2.47引入进去就不会报错了
2021-11-23 17:39:05
2807
原创 Xshell 6 “要继续使用此程序,您必须应用最新的更新或使用新版本”解决方案
今天打开Xshell6突然就给我这个提示，直接用不了了。然后我就根据提示更新，好家伙，也更新不了解决的办法：1.我用的软件管家下载了UltraEdit2.使用UltraEdit修改nslicense.dll文件3.文件位置：xshell 安装根目录4.搜索“7F 0C 81 F9 80 33 E1 01 0F 86 81”5.修改“86”为“83”6.保存文件重新打开xshell发现已经可以使用如果是xshell 5，步骤3搜索..
2021-08-25 11:06:47
1153
原创 解决IDEA打包，然后执行报找不到类的问题，IDEA package后执行jar包报错
正常我们双击package打包时没问题的，突然有次打包发现，咦~ 这jar包的大小怎么才这么一点。然后去执行jar包就包找不到类的错误。然后去打包目录target\classes目录下发现，这下面的class文件没有生成。然后就各种找问题，包括clean也没用最后rebuild project，然后再执行打包，完美解决！！...
2020-07-17 10:06:37
5599
3
原创 Kylin RESTful API使用实践
官网：http://kylin.apache.org/cn/docs/howto/howto_use_restapi.html#build-cubeBase41加密：https://www.sojson.com/base64.html查询curl -X POST -H "Authorization: Basic base64加密(账号:密码)" -H "Content-Type: application/json" -d '{ "sql":"select l.PROVINCE_NAME,s.
2020-06-15 15:11:20
588
原创 在启用了HDFS HA的集群误删了一个NameNode解决实践
在启用了HDFS HA的集群，2个NameNode节点上一般都会部署三个角色：NameNode，JournalNode和Failover Controller。在实际生产中，我们有时会碰到一个情况，你不小心删掉了某个NameNode节点上的所有角色包括NameNode，JournalNode和Failover Controller，或者你不小心通过Cloudera Manager直接从主机管理列表里移除了该NameNode节点，然后你想再把这个节点加回去的时候，发现无论如何HDFS服务都没办法正常使用了。本
2020-06-05 14:38:17
457
原创 Sqoop使用总结——从大数据集群导出数据export
HIVE/HDFS到RDBMS$ bin/sqoop export \--connect jdbc:mysql://hadoop000:3306/company \--username root \--password root \--table staff \--num-mappers 1 \--export-dir /user/hive/warehouse/staff_hive \--input-fields-terminated-by "\t"提示：Mysql中如果
2020-05-20 14:25:18
468
原创 Sqoop使用总结——导入数据到大数据集群import
目录RDBMS到HDFSRDBMS到HiveRDBMS到HbaseRDBMS到HDFS1) 确定Mysql服务开启正常2) 在Mysql中新建一张表并插入一些数据$ mysql -uroot -prootmysql> create database company;mysql> create table company.staff(id int(4) primary key not null auto_increment, name varchar(25.
2020-05-20 14:24:08
1270
原创 Sqoop使用总结——安装配置 sqoop-1.4.6-cdh5.7.0
1.下载并解压wget https://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.7.0.tar.gztar -zxvf sqoop-1.4.6-cdh5.7.0.tar.gz -C ~/app/环境变量添加地址：cat ~/.bash_profile使环境变量生效source ~/.bash_profile2.修改配置文件Sqoop的配置文件与大多数大数据框架类似，在sqoop根目录下的conf目录中。...
2020-05-20 14:20:10
786
1
原创 Hadoop性能基准测试
1） 测试HDFS写性能测试内容：向HDFS集群写10个128M的文件hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB输出日志：20/04/16...
2020-04-16 16:35:57
550
原创 linux下查看mysql配置文件位置
首先先看看你的mysql在哪，通过which命令:which mysql接下来就可以针对上面结果这个目录通过一些命令查看配置文件在哪了，如下/usr/bin/mysql --verbose --help | grep -A 1 'Default options'这个信息的意思是：服务器首先读取的是/etc/mysql/my.cnf文件，如果前一个文件不存在则继续读/etc/...
2020-04-01 17:21:58
6402
原创 IDEA中Spark读写Hive测试
1.将集群上的hive-site.xml文件拷贝到maven工程的resource目录下并新增下面代码即可<property> <name>hive.metastore.uris</name> <value>thrift://hadoop000:9083</value></property>参...
2020-03-18 10:21:24
1406
原创 VMware虚拟机CentOS 7 磁盘不足扩容
1、VM上修改磁盘信息将虚拟机关机，然后点击VM顶部菜单栏中的显示或隐藏控制台视图按钮来显示已建立的虚拟机的配置信息然后左边菜单栏点击硬盘，在弹出的对话框选中硬盘，并点击扩展按钮，然后在弹出框中的最大磁盘大小修改未所需要的磁盘大小，比如我现在需要扩容30G，原本的磁盘大小是20G，所以我这里将原本的20G修改成50G，然后点击扩展之后会收到提示：然后开启虚拟机，对磁盘进行进...
2020-02-28 17:46:58
3285
5
原创 在Intellij IDEA 中编写WordCount程序并打包到集群测试
在前面两篇博客的基础上：https://blog.csdn.net/weixin_40096730/article/details/102782195https://blog.csdn.net/weixin_40096730/article/details/89921176package com.likexinTest.BigData.Sparkimport org.apache...
2019-11-05 11:22:51
993
原创 在Intellij IDEA 中自动加载Maven管理的依赖包的源码
一、打开 File -> Settings 窗口，然后在左边选择 Build, Execution, Deployment -> Build Tools -> Maven -> Importing ，参考下图二、勾选自动下载 “Sources” ，参考上图红色方框的位置三、只要按上面的设置完毕，项目以后再添加依赖包就可以自动下载源码了，如果要对已经加入依赖的包...
2019-10-28 15:40:24
1468
原创 Hadoop kafka 压力测试
hadoop写测试：hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB19/06/18 23:07:51 INFO fs.TestDF...
2019-06-21 08:49:25
435
原创 sqoop MySQL导入HDFS报错Error: java.io.IOException: SQLException in nextKeyValue
问题描述：Error: java.io.IOException: SQLException in nextKeyValueCaused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Unknown column '????' in 'field list'解决方法：兼容性问题，将MySQL中需要导...
2019-06-17 10:59:13
5021
1
原创 Scala 操作外部数据
1 本地文件、网络package com.lihaogn.MyFileimport scala.io.Sourceobject FileApp { def main(args: Array[String]): Unit = { val file=Source.fromFile("/Users/Mac/testdata/hello.txt")(scala.io.Code...
2019-05-16 10:42:42
215
原创 Scala 隐式转换
1 隐式转换为一个已存在的类添加一个新的方法。// 定义一个Man类，方法为eatscala> class Man(val name: String) { | def eat(): Unit = { | println(s"man: $name eat......") | } | }defined class Man/...
2019-05-16 10:35:17
134
原创 Scala 函数高级操作
1 字符串操作1）多行scala> val b = | """ | |这是一个多行字符串 | |hello | |lisi | |hehe | """.stripMarginb: String ="这是一个多行字符串hellolisihehe ...
2019-05-16 10:08:24
157
原创 Scala 模式匹配
目录介绍1）基本匹配2）含有条件的匹配3）Array 匹配4）List匹配5）数据类型匹配6）异常处理7）case class匹配介绍类似Java中的switch case变量 match{ case value1 => xxx case value2 => xxx ..... case _ =>...
2019-05-09 10:53:17
108
原创 Scala 集合
数组定长数组scala> val a = new Array[String](5)a: Array[String] = Array(null, null, null, null, null)scala> ares0: Array[String] = Array(null, null, null, null, null)scala> a.lengthres1...
2019-05-09 08:56:17
143
原创 Scala 面向对象
目录概述：1.类的定义和使用2、构造器3、继承4、重写5.抽象类6.伴生类与伴生对象7.case class8.Trait概述：1.类的定义和使用package ScalaTest1object SimpleObjectApp { def main(args: Array[String]): Unit = { val p...
2019-05-08 15:25:38
171
原创 Scala 基本语法
目录类型定义：Lazy:定义惰性变量，实现延迟加载(懒加载)。函数：1.定义2.默认参数3.命名参数4.可变参数条件表达式循环表达式类型定义：val e:Float = 1.1fval a = 10.asInstanceOf[Double] //类型转换val a = 10.isInstanceOf[Double] //类...
2019-05-07 16:12:09
172
原创 Scala val与var区别
val VS var 1.val：值，不变 final val 值名称:类型 = xxx 2.var：变量 区别对比图1：2：
2019-05-07 08:58:14
171
原创 Scala Windows7、Windows10与Linux环境配置安装
目录Windows7Windows10Linux前置条件java环境配置好：java -version 指令查看是否已经配置过java了在配置过jdk的情况下，执行java -verbose指令，在打印出的文本最后两行可以看到jdk的安装路径Windows7具体的步骤1) 首先把 jdk1.8 安装2) 下载对应的 scala 安装文件 scala-2....
2019-05-06 21:44:29
147
原创 Spark Yarn模式
概述Spark 客户端直接连接 Yarn ，不需要额外构建 Spark 集群。有 有 yarn-client 和 和 yarn-cluster 两 种 模式 ， 主要区别在于：Driver 程序的运行节点。yarn-client：Driver 程序运行在客户端，适用于交互、调试，希望立即看到 app 的输出yarn-cluster：Driver 程序运行在由 RM（ResourceMa...
2019-05-06 15:03:18
156
原创 Spark HA配置
版本配置：spark-2.1.1-bin-hadoop2.7.tgzhadoop2.7.3zookeeper-3.4.10架构图：在前面 Zookeeper、Spark JobHistoryServer配置、Spark Standalone模式与测试的基础上：该文章配置的HA是针对Standalone模式的。1）zookeeper 正常安装并启动2）修改 s...
2019-05-06 14:08:55
172
原创 Spark JobHistoryServer配置
在spark配置文件目录下：/usr/local/BigDataApp/spark-2.1.1-bin-hadoop2.7/conf1）修改 spark-default.conf.template 名称mv spark-defaults.conf.template spark-defaults.conf2）修改 spark-default.conf 文件，开启 Log：vim spark...
2019-05-06 13:22:21
972
原创 Spark Standalone模式与测试
版本配置：spark-2.1.1-bin-hadoop2.7.tgzhadoop2.7.3Standalone 模式概述构建一个由 Master+Slave 构成的 Spark 集群，Spark 运行在集群中。2.4.2 安装使用spark包解压后进入目录 /usr/local/BigDataApp/spark-2.1.1-bin-hadoop2.71）...
2019-05-06 08:35:46
710
原创 HBase 数据结构
1.RowKey与 nosql 数据库们一样,RowKey 是用来检索记录的主键。访问 HBASE table 中的行，只有三种方式： 1.通过单个 RowKey 访问 2.通过 RowKey 的 range（正则） 3.全表扫描 RowKey 行键 (RowKey)可以是任意字符串(最大长度是 ...
2019-05-05 16:34:20
706
原创 HBase Shell 操作
基本操作1．进入 HBase 客户端命令行bin/hbase shell2．查看帮助命令hbase(main):001:0> help3．查看当前数据库中有哪些表hbase(main):002:0> list表的操作1．创建表hbase(main):002:0> create 'student','info'2．插入数据到表hbase(ma...
2019-05-05 10:37:38
146
原创 Zookeeker
目录工作机制特点数据结构应用场景1.统一命名服务2.统一配置管理3.统一集群服务4.服务器动态上下线5.软负载均衡Zookeeper 安装1.分布式安装部署2.配置参数解读客户端命令行操作工作机制Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的...
2019-05-04 21:17:08
334
原创 HBase 安装配置与启动
准备工作需要安装好Hadoop和zookeeper，在前面有介绍过环境部署：在master、slave1、slave2、slave3上安装好zookeeper目录：/usr/local/BigDataApp/zookeeper-3.4.10下载Hbase文件然后在master、slave1、slave2、slave3上解压好Hbase目录：/usr/local/Bi...
2019-05-04 16:47:57
507
原创 Hive 查询
目录基本查询（Select…From）1.全表和特定列查询2.列别名3.算术运算符4.常用函数5.Limit 语句Where 语句 比较运算符（Between/In/ Is Null ） Like 和 和 RLike 逻辑运算符（And/Or/Not ）分组1.Group By 语句2.Having 语句...
2019-04-30 16:28:20
186
原创 Hive DML数据操作
目录数据导入1.向表中装载数据（Load ）2.通过查询语句向表中插入数据（Insert ）3.查询语句中创建表并加载数据（As Select ）4.创建表时通过 Location 指定加载数据路径5.Import 数据到指定 Hive 表中数据导出1.Insert 导出2.Hadoop 命令导出到本地或者DHFS3.Hive Shell 命令导...
2019-04-30 15:00:26
201
原创 Hive hiveserver2
启动在/usr/local/BigDataApp/hive1.2.1/bin目录下的hiveserver2然后在Xshell下重新打开同一台机器，或者打开另外一台有hive的机器同样进入/usr/local/BigDataApp/hive1.2.1/bin目录下面，启动beeline开始连接mysqlbeeline> !connect jdbc:hive2://m...
2019-04-29 21:08:18
255
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人