- 博客(16)
- 收藏
- 关注
RSS订阅原创 spark运行报：java.lang.RuntimeException: Error while encoding: java.lang.ArrayIndexOutOfBoundsException:
在使用 spark 读取 Hadoop 的 hdfs 上的 txt 文件，进行相关的操作之后，转为 orc 格式，期间报 java.lang.RuntimeException: Error while encoding: java.lang.ArrayIndexOutOfBoundsException:（......class org.apache.spark.unsafe.types.UTF8String, StringType, fromString, validateexternaltype(...
2022-04-17 21:33:20
2734
原创 怎么安装Nginx的监控模块
在已安装nginx的基础上，添加监控模块，用以监控状态信息在安装nginx时候，没有指定安装监控模块，可以参考以下方式添加：首先查看nginx是否有监控模块：cd 到你安装的nginx目录 的 sbin 目录下，运行nginx查看cd /usr/local/nginx/sbin./nginx -V如果是...
2022-01-07 21:43:25
2200
原创 开启SQLServer数据库的CDC报错：无法更新元数据来指示已对数据库 XXX 启用了变更数据捕获
开启SQLServer数据库的CDC时，运行报错： 无法更新元数据来指示已对数据库 XXX 启用了变更数据捕获。执行命令 ‘SetCDCTracked(Value = 1)’ 时失败。返回的错误为 15517: ‘无法作为数据库主体执行，因为主体 “dbo” 不存在、无法模拟这种类型的主体，或您没有所需的权限。’解决办法：如果是上面的报错，可以切换成 sa用户试一试：ALTER AUTHORIZATION ON DATABASE
2021-06-21 17:32:25
2801
原创 使用Flink编写Table API 的 select报错（红波浪线）或是 算术运算符报红色
在编写Flink的Table API 时，调用 select方法之后，下面有红线，如下图：
2020-12-14 15:29:56
530
转载 常用的 Git 命令大全
一、新建代码库# 在当前目录新建一个Git代码库$ git init# 新建一个目录，将其初始化为Git代码库$ git init [project-name]# 下载一个项目和它的整个代码历史$ git clone [url]二、配置Git的设置文件为.gitconfig，它可以在用户主目录下（全局配置），也可以在项目目录下（项目配置）。# 显示当前的Git配置$ git config --list# 编辑Git配置文件$ git config -e [--global]
2020-12-01 22:34:52
61
原创 用 Hive 编写词频统计
在 虚拟机 或是 服务器 编写 简单版本的 Hive的词频统计：【相信此时的你，hive 环境已搭建好，来个简单的案例吧！】① 在服务器，编辑文本 words.txt：vi words.txtzhangsan is beijing zhangsan is runningcountrynihao hi love hi② 进到hive进行建表：hive> create table wc(txt String) row format delimited fields termin
2020-11-20 17:14:14
727
原创 Xshell 和 Xftp提示“要继续使用此程序,您必须应用最新的更新或使用新版本”
打开Xshell 或是 Xftp，提示 “要继续使用此程序，您必须应用最新的更新或使用新版本”，别慌（哈哈哈…），改个文件就好！1、一如既往地打开Xshell，结果弹出下方的图2、找到你安装Xshell的安装目录，在根目录下，找到 "nslicense.dll"文件。如下图：3、正常方式打开文件乱码，我这里用的 UltraEdit 软件，如需要的 可到官网下载。【链接奉上：https://www.ultraedit.com/downloads/ultraedit-download/】（注：
2020-11-13 22:44:24
2555
3
原创 使用MapReduce编写词频统计
使用idea工具对txt文件进行词频统计，并输出到另一个文件（本地运行）word.txt：hello hi wordhi wordhahahihellopom.xml：<dependencies> <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-core</artifactId>
2020-11-11 16:05:10
669
原创 配置hadoop的mapreduce本地运行模式的环境
【以 hadoop的 2.7.1 为例】1、将配置好的hadoop目录（资源见下方）拷贝到windows 本地2、计算机 --> 右键 --> 属性 --> 高级系统设置 --> 环境变量 --> 系统变量 的新建（此步有些许啰嗦，可忽略）3、新建 HADOOP_HOME4、新建HADOOP_USER_NAME5、在 Path 中添加：%HADOOP_HOME%\bin;6、将hadoop.dll 和 winutils.exe 放到hadoop的bin目录下
2020-11-11 16:02:59
426
原创 在pgsql库用触发器自动触发PostgreSQL的存储过程，实现插入。
需求：在对表A 执行 insert操作时，筛选符合条件的数据 insert到表B中，编写为存储过程（postgreSQL数据库）[筛选条件]：dd !=“A” 或是 dd为 null；aa 字段第【3】位="5"或=“6”；满足条件1不满足2的数据将字段 aa、bb、cc插入表 B；满足条件1和2的数据将字段 aa、bb、cc、dd="1"插入表 B。1、创建A表：create table A( aa VARCHAR(50) NOT NULL, bb
2020-11-11 10:22:47
3313
7
原创 idea 将项目托管到 Git 报错：Can't finish Gitee sharing process
在idea中报： Can’t finish Gitee sharing processSuccssully created project ‘dmp’ on Gitee. but initial commit failed:并且在 Gitee 仓库 只有 .git 文件 .解决办法：1、在桌面鼠标右键2、选择 Git Bash Here3、键入：git config – globa...
2020-05-04 16:26:20
2441
原创 Error while processing transaction. java.lang.IllegalStateException: begin() called when transaction
标题：Error while processing transaction.java.lang.IllegalStateException: begin() called when transaction is OPEN!·Spark Streaming从flume 中使用Poll拉取数据时，报如下错误：Error while processing transaction.java.lang...
2020-04-08 18:46:57
408
原创 使用SparkSQL编写word.txt的词频统计
使用SparkSQL编写wordCount的词频统计word.txthello hello scala sparkjava sql html java hellojack jack tom tom you he he sql spark 代码：object WordCount { def main(args: Array[String]): Unit = { ...
2020-03-30 20:57:45
657
原创 使用IDEA操作Hbase API报错：org.apache.hadoop.hbase.client.RetriesExhaustedException的解决方法:
使用IDEA操作Hbase API报错：org.apache.hadoop.hbase.client.RetriesExhaustedException的解决方法：错误详情：Exception in thread “main” org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=36, ...
2020-02-14 20:11:15
1381
原创 搭建Hadoop集群需要注意的问题：
搭建Hadoop集群需要注意的问题：1.检查三台主机名是否正确2.检查三台IP是否正确3.检查 /etc/hosts 映射是否正确4.检查 JDK和Hadoop 是否安装成功（看环境变量配置）键入 ：sudo vi /etc/profile进到文件之后，检查环境变量配置是否正确：5.检查 SSH免密码登录 是否设置成功：[master：主机名server1：第一台从机...
2019-12-15 12:45:16
314
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人