- 博客(21)
- 收藏
- 关注
RSS订阅原创 自定义hive udf函数遇到okhttp3引起的ExceptionInInitializerError
自定义hive udf执行运行udf函数出现错误。主要原因是okhttp3无法进行初始化。：okhttp3包冲突或者版本引起的。
2024-01-16 19:57:59
451
1
原创 java JDBC连接hive2通过DatabaseMetaData获取指定数据库下所有表
java JDBC连接hive2通过DatabaseMetaData获取指定数据库下所有表情况一：获取mysql中指定数据库中所有表，代码如下ResultSet rs = metaData.getTables (dbname, null, null, new String[]{"TABLE"}); while (rs.next()) {String tableName = rs.getSt
2021-06-26 16:53:30
2604
原创 hive通过JDBC获取元数据信息
JDBC获取数据库、参数、结果集元数据DataBaseMetaDataResultSet getCatalogs() //获取数据库Connection getConnection() //获取连接ResultSet getColumns(String catalog, String schemaPattern, String tableNamePattern, String columnNamePattern) //获取所有的列ResultSet getSchemas() //获取schem
2021-06-04 16:21:06
1749
原创 Sqoop从MySQL中导数据到HDFS，脚本出现MySQL关键字报错
Sqoop从MySQL中导数据到HDFS，脚本出现MySQL关键字报错1.原始脚本MySQL数据库中表的列名出现关键字，如下图所示出现Index关键字2.报错运行脚本，出现如下错误 3. 解决方案原因：出现MySQL中的关键字，需要使用转义符sh脚本中修改方法：...
2021-04-26 11:24:43
315
1
原创 SparkSQL使用scala查询hive中的数据 出现 Compression codec com.hadoop.compression.lzo.LzoCodec not found.
SparkSQL使用scala查询hive中的数据 出现 Compression codec com.hadoop.compression.lzo.LzoCodec not found.1、出现的问题2、解决方案查看报错源代码，发现源代码是加载resource中的配置文件，包括hdfs-site.xml、core-site.xml、hive-site.xml文件。查看core-site.xml文件中的配置，只需要将关于LZO配置注释，就OK啦3、查询成功...
2021-04-19 16:33:05
427
3
原创 linux中Python3.6.6安装
1.下载linux版本的Python3.6.6安装包wget https://www.python.org/ftp/python/3.6.6/Python-3.6.6.tgz2.解压到指定目录tar -zxvf Python-3.6.6.tgz -C /opt/module3.安装必要组件yum install gc -yyum install openssl-devel -yyum install sqlite-devel -yyum install -y gcc4.安装
2020-11-29 10:34:04
275
原创 hive报错FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
这里写自定义目录标题新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入问题一：你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下M
2020-11-20 20:26:10
11632
原创 centos7修改用户名-组 出现的问题
修改用户名usermod -l 新用户名 -d /home/新用户名 -m 以前的用户名修改用户组groupmod -n 新用户名 老用户名问题：cat /etc/passwd 出现本地账号还是之前的用户名sudo vim /etc/passwd #修改本地账号即可...
2020-11-02 16:26:16
398
原创 flume从kafka消费数据到hdfs问题
问题一java.lang.IllegalArgumentException: Unsupported compression codec lzop.解决方法将core-site.xml软连接到flume的conf文件下问题二Flume报错 java.lang.ClassNotFoundException: Class com.hadoop.compression.lzo.LzoCodec解决方法将lzo的jar包放到flume的lib下flume-kafka-hdfs 通道打通。...
2020-07-26 09:28:35
535
原创 idea spark出现encountered unrecoverable cycle resolving
问题代码这是我代码的导入和隐式参数转换的先后顺序解决方案将图片2和图片3的隐式参数转换的位置放到图片1之前，因为图1的代码会引起错误
2020-07-07 18:10:38
717
转载 全网最详细的启动Kafka服务时出现kafka.common.InconsistentBrokerIdException: Configured brokerId 3 doesn't match st
https://www.cnblogs.com/zlslch/p/9193101.html
2020-04-30 17:39:30
679
原创 Ruby版本过低的解决方案
1、使用gem安装redis出现2、首先安装rvm，更新rvm版本（1）ruby官网安装教程https://rvm.io/（2）出现一下错误（3）将上面做如下修改（4）找到ruby的所有版本，安装相应的版本（5）安装redis（6）完成以下两步完美完成。这些解决方法只是针对我出现的问题。仅供参考...
2020-04-28 09:27:14
812
原创 Boostrap 模态框不能弹出
相关配置模态框的具体配置：https://v3.bootcss.com/javascript/模态框不能弹出的原因：jquery和boostrap版本的问题，boostrap-3.3.7需要jquery的最低版本是jquery-1.9.1。所以需要找到boostrap对应的jquery版本。修改配置成功！！！！jquery所有版本官网：https://code.jquer...
2020-04-15 10:07:18
685
原创 Windows下更改hosts文件
hosts文件所在目录为： C:\Windows\System32\drivers\etc修改方法：将hosts文件放到桌面修改 之后替换掉原文件修改之后不会立即生效打开CMD，运行命令ipconfig /flushdns...
2020-01-05 19:27:53
383
转载 【HBase工具】查看解析HFile
查看HFile是HBase本身自带的一个很实用的工具使用也很简单：$ ${HBASE_HOME}/bin/hbase org.apache.hadoop.hbase.io.hfile.HFileusage: HFile [-a] [-b] [-e] [-f ] [-k] [-m] [-p] [-r ] [-v]-a,–checkfamily Enable family check...
2020-01-04 18:29:00
283
转载 ssh zookeeper集群无法启动的排查
1、我们看下zookeeper.out内容报错，显示java命令找不到，我们执行下面命令ssh 然后再执行which java，也发现找不到[hadoop@ruozedata001 ~]$ ssh hadoop001 “which java”which: no java in (/usr/local/bin:/usr/bin)2、存在的问题：那可以推断出环境变量没有加载3、 问题解...
2019-12-25 15:33:16
206
转载 系统或IP变化后SSH连接不上的解决方法
客户端未变，服务器端变更IP地址，导致客户端链接失败，这种情况提示如下：原因是服务器端更改IP地址后，秘钥也需更新在客户端输入以下格式的命令：ssh-keygen-f"/home/用户名/.ssh/known_hosts" -R 服务器端的ip地址即:ssh-keygen -f “/home/haha/.ssh/known_hosts” -R 192.168.1.8SSH再次登录成功...
2019-12-16 15:17:20
3409
原创 C3p0数据库连接池连接问题
问题：Failed to instantiate [com.mchange.v2.c3p0.ComboPooledDataSource]: No default constructor found解决方案：导入mchange-commons-java-0.2.11.jar
2019-12-04 15:48:52
188
原创 DBUtils数据库连接池多表连接查询
DBUtils数据库连接池多表连接查询MapListHandler的使用（具体使用方式查看官方文档http://commons.apache.org/proper/commons-dbutils/apidocs/index.html）key——sql语句查询的字段value——数据库中查询得到的结果出现的问题描述对于多表连接查询，如果使用BeanListHandler，则会出现空指针异常...
2019-11-20 20:11:48
957
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人