- 博客(49)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 HBase 表做快照
为hbase表做快照,然后跨节点发送快照文件，接收节点根据接收的快照文件，进行克隆，从而达到数据还原到跟发送节点上hbase表数据的一致性。
2022-11-14 22:39:23
1140
原创 maxwell采集mysql binlog 日志数据到kafka topic
使用maxwel采集mysql binlog日志到kafka指定的主题
2022-11-12 15:15:00
1185
原创 模糊查询： 查出学校名包含北京字样的相关属于列
select id, age, universityfrom user_profilewhere university like ‘%北京%’；2.select id,age,universityfrom user_profilewhere university regexp ‘北京’；3.select id,age,universityfrom user_profilewhere instr(university,‘北京’)；
2022-10-14 00:07:03
135
原创 普通用户在liunx中创建软链接
创建命令：ln -s 被链接文件的路径/被链接的文件 链接到那个路径/为被链接文件自定义命名例如：这里的sudo (如果个人用户权限不够的话，不能创建软链接，sudo赋予root权限)下面是将/opt/cloudera/parcels/PHOENIX-5.0.0-cdh6.2.0.p0.1308267/lib/phoenix/ 路径下的 phoenix-5.0.0-cdh6.2.0-client.jar软链接到/opt/cloudera/parcels/FLINK/lib/flin
2022-05-11 15:40:26
1030
原创 用dataX向PolarDB中导数据时，出现脏数据问题怎么解决
这是我的dataX 导数据的json文件，其中有个属性fieldDelimiter 我原本设置为 \u0001执行shell 脚本直接执行 dataX 导数据的json 文件会出现导入失败的现象：直接执行shell 脚本在黑窗口中看到的日志信息有限，那么去azkaban中通过任务调度的方式去执行 dataX导数据操作：日志信息显示是由于某一个字段值得问题导致数据导入失败： 这里用dataX导入的数据是 数仓中的 string 类型的数据导入到PolarDB表中 对应的字段是
2022-05-06 17:51:39
3257
3
原创 scala版本的flink CDC
监控mysql 一个或者多个库中的 一个或者多个表中的数据变化(增删改)首先确定使用的flink 版本：FlinkCDC 2.0 版本对应 Flink 1.13在pom文件中添加 FIinkCDC的依赖： <dependency> <groupId>com.alibaba.ververica</groupId> <artifactId>flink-connector-mysql-cdc</artifactId> &
2022-03-28 22:19:43
3533
2
原创 hive数仓的可视化工具-DBeaver
通过操作DBeaver界面连接hive数据仓库输入连接hive数仓的相关参数相关文件：hive-jdbc-uber-2.6.5.0-292.jar
2022-03-24 23:13:56
1798
原创 setup scala SDK引起的，flink程序执行异常
项目新拉取下来执行某个入口类前会报异常，也会提示让setup scala SDK设置自己的scala版本为入口类设置了scala版本，但是还会报错：如下Error:(5, 23) object common is not a member of package com.* .bigdataimport com. *.bigdata.common.config.EnvConfig此时主要看报错信息，会提示某几个类(本入口类引用到的类也需要设置scala版本)按住ctrl 鼠标点击如上框选中的
2022-03-15 20:33:56
2511
原创 Caused by:java.lang.VerifyError:class scala.tools.nsc.reporters.Reporter overrides final method echo
Caused by: java.lang.VerifyError: class scala.tools.nsc.reporters.Reporter overrides final method echo.(Ljava/lang/String;)Vscala版本flink程序：在编译、打包时一值报上面的异常，不能够正常编译和打包百度搜索了，大致在说是本地win上的scala版本跟IDEA上配置的scala版本问题，需要本地的scala版本高于IDEA上的版本。我自查了本地scala 通过cmd 的do
2022-03-15 20:22:34
1373
原创 flink的yarn模式部署项目到集群上
flink的yarn模式部署项目到集群上有两种：1是yarn-session2是yarn-per-job这里介绍一下yarn-session 方式提交flink程序：先申请一定的yarn资源，以后提交的flink程序，都放在这个资源里执行，公用这块资源。如果不对这块yarn资源进行杀死，它会一致存在。如何申请：1、普通申请：yarn-session.sh -d -jm 2048MB -nm qy-push-log -s 1 -tm 4096MB这里已经踩过一个坑了jm 如果设置小
2022-03-09 17:20:15
2417
原创 hive表注释中文乱码问题
先确定hive表的元数据信息存放位置：默认存放在 derby数据库大部分用户选择放到mysql数据库 mysql数据库又分为远程 数据库 和 本地数据库 区分放在那个mysql数据库，要查看hive-site.xml配置文件我这里演示的是：hive元数据存放到本地mysql数据库先进入到本地mysql数据库:直接登录进去：查看一下数据库信息我的hive元数据放在的是hive库中：show tables重点关注一下这几张表：COLUMNS_V2 hive表中字
2022-03-09 15:46:35
405
原创 hive中两数组类型的数据进行整合(array[])
1、–dws层经过处理后的数据select table1.user_id as user_id , table1.read_book_id as arrays --arrays字段在dws_qy_profile_reads_stat ,中该字段为 array[]类型的数据 from dws_reads table1 ;2、 –dwd_qy_profile_cpsshardn_user_recently_read表提供增量数据数据来源–统计每天的数据按照user_id字
2022-03-07 18:43:00
6121
原创 执行程序报type OBJECT rather than
配置文件中application.conf红线圈住的部分过度相似，程序识别过程中会报异常
2022-03-04 18:37:00
293
原创 hive数仓表中数组类型的字段判空
对字段值使用size() 方法size(字段名称)=0hive表中的默认空字段值使用\N填充，如果一个字段值为空，将改表中这个字段值导入到PolarDB 、clickhouse 中后相应的会出现 \N 字样如果一张表中有较多的空值存在，此时\N 比较占用空间，可以使用alter table test_null set serdeproperties('serialization.null.format' = '');修改一下表对空值的默认处理1、字段类型为array(string) C
2022-03-03 08:48:07
1368
原创 scala连接mysql数据库
pom依赖：<dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.45</version> </dependency>程序：import java.sql.DriverManager object JdbcM
2022-02-10 10:29:09
2409
原创 scala的flink程序遇到的bug
Exception in thread “main” java.lang.NoClassDefFoundError运行那个类就就进行编辑那个类
2022-01-18 13:26:40
1541
原创 提交flink程序到集群上
这里我演示的是 yarn的cluster模式首先来到IDEA中将咱们需要在环境上跑的程序，进行打包。这里使用的IDEA上的图形界面进行项目打包的(还是挺方便的)执行完上面三步后：项目的下面会出现target文件夹这里产生两个jar包，如果测试环境上有项目所需的资源jar的话，可以直接将较小的jar上传到环境上执行。如果测试环境上没有程序所需资源jar包，则需要将较大的jar包上传到环境上执行。两个jar之所以不一样大小，就是一个包含程序所需资源jar包，一个不包含程序所需资源jar包。
2022-01-05 23:00:22
3849
2
原创 linux解压遇到的问题
解压过程中遇到该问题Exiting with failure status due to previous errors，因为不是root用户没有权限。解决方案：1、可以使用root用户2、解压命令前面加上sudo
2021-12-23 10:28:25
838
原创 安装kafkaManager
调研kafka的监控组件安装kafkaManager管理工具：下载地址：链接：http://pan.baidu.com/s/1bQ3lkM 密码：c251安装zip解压工具： yum install -y zip unzip解压命令unzip kafka-manager-1.3.0.7.zip -d /opt/重命名mv kafka-manager-1.3.0.7 kafka-manager解压后配置文件：application.conf23行左右 kafka-manager
2021-12-21 16:17:32
1204
原创 将环境中jar包拿到本地，通过命令安装到本地maven中去
将环境中jar包拿到本地，通过命令安装到本地maven中去针对IDEA中下载某些jar速度太慢命令示例mvn install:install-file -DgroupId=shade.org.apache.parquet -DartifactId=parquet-format -Dversion=1.10.2-SNAPSHOT -Dpackaging=jar -Dfile=E:\lib\parquet-format-2.4.0.jar演示示例：1、hive-exec-2.1.1-cdh6.3.2
2021-12-20 18:49:48
1295
原创 IDEA执行程序时rror running ‘sparkSession‘: Command line is too long. Shorten command line for sparkSessio
错误日志:就很莫名奇妙rror running 'sparkSession': Command line is too long. Shorten command line for sparkSession or also for Application default configuration.1.在IDEA中找到 Run-> Edit Configurations打开2.在 Environment-> Shorten command line 的内容配置为 JAR即可解决参
2021-12-18 16:31:53
327
1
原创 golang安装步骤
1.首先找到资源下载地址：https://studygolang.com/dl2.下载完毕后(下图是下载好的文件)新建一个文件夹install_path，当作安装目录此处的install_file 是下载的资源文件，install_path是安装后产生的文件3.双击打开下载好的文件，一路next ,自定义安装路径(这里我的安装路径是install_path)4.widows 版本的不需要我们自己手动配置环境变量安装过程中，系统自动为我们配置了环境变量到我们的环境变量那块去验证一下
2021-11-20 11:00:21
11136
原创 win10电脑连上wifi，后没有网络
win10电脑连上wifi，后没有网络：一般是ip地址冲突1、鼠标右键网络图标(我这变问题已经解决，问题未解决前还是一个网状地球图标)2、右键之后会弹出，打开“网络和Internet”设置3、选择网络共享中心4、点击更改适配器设置6、选择要进行连接的网络（右键属性）7、右键属性完后选中Internet 协议版本4（TCP/ipv4）再点击属性8、自动获取IP地址9、按照以上步骤，我的最终连上了网！...
2021-10-24 18:08:11
6358
原创 解决Centos7断电后系统无法正常启动
电脑突然蓝屏，随之就关机了。开着的linux虚拟机躺枪再次重启虚拟机如下提示：度娘一顿搜：很有牌面： 整齐划一的解决方案xfs_repair -v -L /dev/dm-0 我的虚拟机无动于衷!!!浏览器中一顿点点点：终于等到你还好没放弃xfs_repair -v -L /dev/sda3虚拟机展示了一波米锅大片中的场景完了重启虚拟机reboot阳光普照大地希望也能照亮你我...
2021-09-13 16:51:48
2592
原创 SparkStreaming消费kafka中的数据
一.消费的是某个主题中全部数据1.在linux中开启kafka集群进行topic创建kafka目录下：nohup bin/kafka-server-start.sh config/server.properties 2>&1 &kafka的bin目录下：创建主题ningxw 分区数位3 副本因子为2./kafka-topics.sh --zookeeper node-01:2181,node-02:2181,node-03:2181 --create --topic
2021-08-21 23:19:25
992
原创 神州战神电脑关闭触摸板
神州战神电脑关闭触摸板进入神州官网：http://www.hasee.com/chinese/index.aspx将页面拉到最下边：点击驱动下载输入电脑型号：点击下载选择win64位：下载所需要的驱动，这里下载的是热键驱动：下载好的驱动解压：安装后重启电脑：...
2021-06-27 22:52:57
2539
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人