依旧ฅ=ฅ-CSDN博客

1.下载GeoLite2 City库下载地址：http://dev.maxmind.com/geoip/geoip2/geolite2/https://download.csdn.net/download/qq_44065303/206802632.导入相关坐标坐标 <dependency> <groupId>com.maxmind.geoip2</groupId> <artifa.

2021-08-02 17:44:41 1769

原创【flink】Missing parameter type

1、检查一下导包是否正确import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment2、检查dataStream数据类型是否正确我这里数据类型错了，kafkaDataStream的数据类型应该是DataStream[String]

2021-07-29 17:35:44 374

原创【hive】修复分区报错Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

hive> msck repair table dw_dv1.app_incremental_base;FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTaskhive> set hive.msck.path.validation=ignore;hive> msck repair table dw_dv1.app_incremental_base;OKTime taken.

2021-07-02 11:48:27 2538 1

原创【java POI】xssfcellstyle设置居中_java POI 单元格格式设置

//创建格式对象XSSFCellStyle cellStyle = wb.createCellStyle();//设置格式cellStyle.setDataFormat(HSSFDataFormat.getBuiltinFormat("0.00%"));//设置百分小数位cellStyle.setAlignment(HorizontalAlignment.CENTER);//设置水平居中cellStyle.setVerticalAlignment(VerticalAlignment....

2021-06-23 16:27:29 7825 1

原创【java]获取mapper.xml中的sql语句

import org.apache.ibatis.mapping.BoundSql;import org.apache.ibatis.mapping.MappedStatement;import org.apache.ibatis.mapping.ParameterMapping;import org.apache.ibatis.mapping.ParameterMode;import org.apache.ibatis.reflection.MetaObject;import org.a...

2021-06-18 15:43:21 3900 1

原创【maven】将jar包导入maven本地仓库中

访问http://mvnrepository.com/，在搜索栏中输入你要搜索的 JAR 包的关键字mvn install:install-file -Dfile=jar包的位置(参数一) -DgroupId=groupId(参数二) -DartifactId=artifactId(参数三) -Dversion=version(参数四) -Dpackaging=jar<!-- https://mvnrepository.com/artifact/com.oracle.database.j

2021-05-18 09:50:45 160

原创【Maven】构建错误 Cannot resolve plugin org.apache.maven.plugins:maven-clean-plugin:3.1.0

在构建文件pom.xml的 <properties>节中添加阿里的环境仓库： <repositories> <repository> <id>alimaven</id> <url>https://maven.aliyun.com/repository/public</url> </repository> </repositories> <.

2021-04-27 16:55:30 1135

原创【Canal】使用

canal，译意为水道/管道/沟渠，主要用途是基于MySQL 数据库增量日志解析，提供增量数据订阅和消费。canal实际应用所在的位置如下图：一、canal能做什么canal的数据同步不是全量的，而是增量。基于binary log增量订阅和消费，canal可以做：数据库镜像数据库实时备份索引构建和实时维护业务cache(缓存)刷新带业务逻辑的增量数据处理二、搭建canal在MySQL中需要创建一个用户，并授权：-- 使用命令登录：mysql -u ro...

2021-03-26 12:02:46 2193 2

原创【Windows】命令

目录一、查看目录下所有文件夹和文件二、查看进程通过/fi参数可以筛选出自己的进程信息查询admin用户开启的所有进程tasklist | find模糊查询进程一、查看目录下所有文件夹和文件查看当前目录下dir查看指定目录d:\input下dir d:\input二、查看进程通过/fi参数可以筛选出自己的进程信息 tasklist /fi "imagename eq java.exe"tasklist /fi "imagename eq

2021-03-24 12:13:03 1005

原创【Spring】远程调用HttpClient/RestTemplate

一、HttpClient两个系统间如何互相访问？两个tomcat上的项目如何互相访问？采用HttpClient实现跨系统的接口调用。介绍：官网：http://hc.apache.org/index.html现在也叫：HttpComponentsHttpClient可以发送get、post、put、delete、...等请求使用：导入坐标<dependency> <groupId>org.apache.httpcompon...

2021-03-05 13:50:10 248 4

原创【java】定时任务

public static void timer4() { Calendar calendar = Calendar.getInstance(); calendar.set(Calendar.HOUR_OF_DAY, 12); // 控制时 calendar.set(Calendar.MINUTE, 0); // 控制分 calendar.set(Calendar.SECOND, 0); // 控制秒 .

2021-03-04 11:32:52 134 1

原创【java】中正则表达式

一、正则表达式的规则1. 任意一个字符表示匹配任意对应的字符，如a匹配a，7匹配7，-匹配-。2. []代表匹配中括号中其中任一个字符，如[abc]匹配a或b或c。3. -在中括号里面和外面代表含义不同，如在外时，就匹配-，如果在中括号内[a-b]表示匹配26个小写字母中的任一个；[a-zA-Z]匹配大小写共52个字母中任一个；[0-9]匹配十个数字中任一个。4. ^在中括号里面和外面含义不同，如在外时，就表示开头，如^7[0-9]表示匹配开头是7的，且第二位是任一数字的字符串；如果在中括号

2021-03-01 10:25:44 235 2

原创【java】使用idea将工具类打包使用

IDEA-java工具类打JAR包:File -> Project Structure -> Artifacts -> + -> JAR -> Empty -> 给jar包起名 -> 在左侧Artifacts列表栏中，点击新创建的那个Artifacts，然后设置Output Directory -> Output Layout -> + -> Directory Content -> 在弹出的路径中选要打包的java 对应的.class文

2021-03-01 09:16:17 504

原创【fink】dataStreamAPI开发

一、Time与Window（一）TimeEvent Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink 通过时间戳分配器访问事件时间戳。 Ingestion Time：是数据进入 Flink 的时间。 Processing Time：是每一个执行基于时间操作的算子的本地系统时间，与机器相关，默认的时间属性就是 Processing Time。例如，一条日志进入 Flink 的时间为 2019-08-

2021-01-27 15:56:59 5335

原创【hive】hive分区表导出到mysql（超简单操作）

那些什么鞋脚本循环执行导出，既繁琐又耗时我的思路：将hive分区表查询结果保存到hdfs 实现方式点击跳转将hdfs文件使用sqoop导出到mysql 实现方式点击跳转该方式两步到位，第一步可以根据自己需求是否需要分区字段，需要就在查询加上分区字段，第二步根据自己需求全量导出还是增量导出...

2021-01-21 10:29:02 6552 2

原创【sqoop】将mysql表同步到hive分区表中

一、从mysql导入到hive表分区数据的hdfs的存储位置==（mysql-->>hdfs）sqoop import \--connect jdbc:mysql://IP:3306/DATABASE \--username USENAME--password PWD \--fields-terminated-by ',' \--m 1 \--query "select * from TABLEwhere COLUMN='VALUE' and \$CONDITIONS" \-.

2021-01-21 10:13:25 6153

原创【Linux】Linux执行springboot项目、Linux执行maven项目

一、Linux执行springboot项目1、在pom文件中添加springboot的maven插件<build> <plugins> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin</artifactId> </

2021-01-19 13:15:11 5974

原创【hadoop】File方法createTmpFile创建临时文件、下载hdfs文件到本地

示例为从HDFS下载文件到本地临时文件启动springboot项目客户端访问传入需要的参数返回了临时文件的路径，到指定路径查看End

2021-01-19 13:07:06 5646 2

原创【Linux】shell脚本使用scp、expect安装

shell脚本使用scp（简版）shell脚本使用scp（详版）expect安装

2021-01-18 18:04:50 5384

原创【hive】去重表数据、将hive查询结果保存到本地或者hdfs

1.复制表结构CREATE TABLE <new_table> LIKE <old_table>;2.插入去重后的数据insert overwrite table <new_table>(select t.id, t.local_pathfrom (selectid, local_path, row_number() over(distribute by id sort by local_path) as rnfrom <old_table

2021-01-18 16:04:33 6537

原创【Linux】一些命令

Ctrl + Z 程序站位后台运行bg 查看后台运行程序fg 序号调到前台

2021-01-15 15:37:43 5263

原创【hive】启动时的一些notfind日志优化

1、ls: 无法访问/export/servers/spark/lib/spark-assembly-*.jar: 没有那个文件或目录原因：spark升级到spark2以后，原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembly-*.jar已经不存在，所以hive没有办法找到这个JAR包。解决：vim ${HIVE_HOME}/bin/hive搜索 sparkAssemblyPath=将定位的=号右边改成 `ls ${SPARK_HOME}...

2021-01-15 10:39:30 5385

原创【Linux】【目录】linux/shell常用命令及基础操作目录

1、shell判断字符串包含的方法2、shell中获取data3、Linux查看内存，CPU的状态几个命令4、捕获Linux命令行、shell脚本输出异常保存到文件5、shell脚本如何将一个文件中的一段字符串当做变量输出6、shell脚本参数传递7、时钟同步8、linux安装mysql...

2021-01-12 17:46:34 5293

原创【shell】判断字符串包含的方法

strA="long string"strB="string"result=$(echo $strA | grep "${strB}")if [[ "$result" != "" ]]then echo "包含"else echo "不包含"fistrA="helloworld"strB="low"if [[ $strA =~ $strB ]]then echo "包含"else echo "不包含"fiA="helloworld"B=.

2021-01-12 17:36:04 8449 2

原创【mysql】修改密码（ERROR 1045 (28000): Access denied for user ‘root‘@‘localhost‘ (using password: YES)）

ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES)登录一直密码错误可能原因同一个用户不同host密码不同导致的解决方式登录不进去的情况下在/etc/my.cnf文件中[mysqld]下添加skip-grant-tables重启mysql服务servcie mysql restart查询host,user,authentication_stringselect

2021-01-12 09:23:37 5704 2

原创【Windows】电脑不显示WiFi列表

点击网络图标不显示WiFi列表设置--》状态--》更改网络设置-》网络适配器选项右键WLAN--》禁用--》重新启用

2020-12-28 12:11:50 15115

原创【Sqoop】从hive导出数据到Oracle

https://blog.csdn.net/waterkong/article/details/78708809

2020-12-24 11:55:59 5602

原创【shell】bash: +%Y-%m-%d: command not found...

把整个value用反引号括起来就可以了[root@znrmdapp1 ~]# date=date '+%Y-%m-%d'bash: +%Y-%m-%d: command not found...[root@znrmdapp1 ~]# date=`date '+%Y-%m-%d'`[root@znrmdapp1 ~]# echo $date2020-12-18[root@znrmdapp1 ~]#

2020-12-24 09:46:01 6978

原创【flume】导出的文件乱码问题、中文乱码、表头乱码

导出结果解决方式：在网上搜的都是添加a1.sinks.k1.hdfs.fileType = DataStreama1.sinks.k1.hdfs.writeFormat = Text这个是要加的，flume导出的数据格式默认是SequenceFile这个我是加了的就还是上边的乱码啊检查输入的文件格式，输入的文件格式改成utf-8就好了，输出文件不会乱码了检查、修改文件格式方式用记事本打开右下角是当前文件的编码格式文件->另存为->编码->ut

2020-12-23 09:57:09 6430

原创【azkaban】 java.lang.NoClassDefFoundError: org/apache/hadoop/hive/serde2/typeinfo/TypeInfo

在调度sqoop同步hive分区表时出的错误解决方式：检查sqoop/conf目录是否有hive-site.xml没有就从hive/conf目录下拷贝cp $HIVE_HOME/conf/hive-site.xml $SQOOP_HOME/conf检查sqoop/lib是否存在以下hive依赖包

2020-12-16 18:38:22 5938

原创【azkaban】开启进程秒退

查看最近一次日志在azkaban目录下vim 日志文件找到最下边的一个Caused by：从可能原因可以看出是mysql的azkaban用户对azkaban数据库拒绝访问解决方式：使用root用户登录mysql授权 azkaban用户访问azkaban数据库grant all privileges on 'azkaban'.* to 'azkaban'@'%';成功解决开启进程秒退问题...

2020-12-16 18:27:56 5629

GeoLite2-City_20210727.tar.gz

xshellxftp.rar

create-all-sql-0.1.0-SNAPSHOT.sql

Linux.xmind

hive函数大全.doc

hive.sql执行文件.rar

kylin.properties

hivelib.rar

空空如也