- 博客(21)
- 收藏
- 关注
RSS订阅原创 内连接、左外连接、右外连接、全外连接区别
整理东西时候，忽然发现自己很久之前总结的东西，很简单的概念没什么好说的，例子解释的很详细了，保存一下（1）内连接查询：获取两表的公共部分的记录（图中间），即记录集C。Select * from AJOIN BONA.Aid=B.Bnameid等同于Select * from A,B where A.Aid=B.Bnameid(结果注意有重复的数据)...
2019-12-28 16:21:18
1276
原创 卸载JDK
第一步，首先卸载或删除JDK三种方式(1)用控制面板卸载(2)安全类软件(360等)自带的软件卸载工具的功能卸载(3)直接删除jDK文件夹(我的默认的是:C:\Program Files (x86)\Java)(推荐)第二步，删除注册表按Windows键+R 输入"regedit"打开注册表编辑器找到HKEY_LOCAL_MACHINE/SOFTWARE/JavaSo...
2019-12-22 20:39:43
2883
原创 Java将CST的时间字符串转换成需要的日期格式字符串
Java的CST格式的时间字符串转为为Date对象和所需要的日期时间格式String dateStr = "Wed Sep 16 11:26:23 CST 2009";SimpleDateFormat sdf = new SimpleDateFormat("EEE MMM dd HH:mm:ss zzz yyyy", Locale.US);//java.util.Date对象Date ...
2019-12-12 16:32:11
1145
原创 Error when sending message to topic wyh-elk-kafka-topic with key: null
在kafka中向topic中发送消息报错：[root@localhostkafka_2.12-2.1.0]#bin/kafka-console-producer.sh--broker-list192.168.184.128:2181--topicwyh-elk-kafka-topic>wyh[2019-03-1321:21:06,457]ERRORErrorwh...
2019-12-12 16:31:24
651
原创 mysql通过my.cnf修改默认字符集为utf-8的方法和注意事项
选项配置配置文件路径：/full/path/mysql/bin/my.cnf（默认为/etc/my.cnf）[client]default-character-set=utf8[mysql]default-character-set=utf8[mysqld]init_connect='SET collation_connection = utf8_unicode_ci...
2019-12-11 16:13:23
2270
原创 使用Sqoop将HIVE中的数据导入Mysql
hive中的数据：mysql中的表：安装sqoop略里面有详细步骤：然后只需一条命令sqoop export --connect jdbc:mysql://henu1:3306/gamedata --username root --password 123 --table n_days_stat --num-mappers 1 --export-dir /user/...
2019-12-09 19:34:55
545
原创 sqoop从hive导出到mysql报错 ERROR mapreduce.ExportJobBase: Export job failed!
1，错误日志关键如下19/05/17 11:48:15 INFO mapreduce.Job: Running job: job_1558105459102_000719/05/17 11:48:42 INFO mapreduce.Job: Job job_1558105459102_0007 running in uber mode : false19/05/17 11:48:42 I...
2019-12-09 19:27:19
2423
原创 Sqoop报警告hcatalog does not exist!...accumulo does not exist!解决方案
hdfs dfsadmin -safemode get查看安全模式状态hdfs dfsadmin -safemode enter 进入安全模式状态hdfs dfsadmin -safemode leave 离开安全模式执行Sqoop中import命令后报错Warning: /opt/module/sqoop/bin/../../hcatalog does not...
2019-12-09 19:26:05
1387
原创 Flume监控文件并将数据输入至Kafka
Flume配置文件a1.sources = r1a1.sinks = k1a1.channels = c1a1.sources.r1.type = execa1.sources.r1.bind = tail -F /usr/local/hive.loga1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSinka1.si...
2019-12-09 16:01:56
831
原创 使用Flume监控文件并导入到HIVE表中
首先因为Hive的储存是基于HDFS的，所以目标等同于，flume监控文件并上传HDFS上Hive建表create table test(name String,gender String)row format delimited fields terminated by ',';Flume配置文件如下监控文件 /usr/local/hive.log上传路径hdfs://...
2019-12-09 15:49:45
1258
原创 使用IDEA查询HIVE数据，输出男女生人数及姓名
接上篇想要在输出男女生人数的基础上，输出姓名，需自定义聚合函数AggrNameUDFimport org.apache.spark.sql.Rowimport org.apache.spark.sql.expressions.{MutableAggregationBuffer, UserDefinedAggregateFunction}import org.apache.spar...
2019-12-09 14:41:09
1115
原创 使用IDEA查询HIVE数据，输出男女生人数
结构hive-site.xml文件需修改两个点1、mysql默认连接库名称（在hive安装目录中的conf目录下的hive-site.xml文件，自行查阅）2、用户名及密码<?xml version="1.0" encoding="UTF-8" ?><configuration> <property> &...
2019-12-09 14:37:46
1283
原创 Mybatis分页插件PageHelper的学习与使用
PageHelper使用至于怎么使用我想上面提供的两个项目讲的绝逼讲的比我清楚，下面直接进入PageHelper使用实战首先，集成引入分页插件有下面2种方式，一种是直接下jar包一种是mawen依赖，推荐使用 Maven 方式。方法一： 直接下载jar包jar包下载地址，由于使用了sql 解析工具，你还需要下载jsqlparser.jar方法二： Maven添加依赖 ...
2019-12-08 19:42:59
1071
原创 Stack Overflow上59万浏览量的提问：为什么会发生ArrayIndexOutOfBoundsException？
在逛 Stack Overflow 的时候，发现了一些访问量像昆仑山一样高的问题，比如说这个：为什么会发生ArrayIndexOutOfBoundsException？这样看似简单到不值得一问的问题，访问量足足有 69万+，这不得了啊！说明有不少的初级程序员被这个问题困扰过。实话实说吧，我也有点吃不准为什么。来回顾一下提问者的问题：ArrayIndexOutOfBoundsExcept...
2019-12-08 19:37:20
1160
原创 MapReduce中数据倾斜的产生和解决办法详解
说明：关于数据倾斜的产生原因我将结合 map 和 reduce 阶段中的 shuffle 来讲解，若是对 shuffle 有所忘记需要温故的请到MapReduce:详解Shuffle(copy,sort,merge)过程进行相关了解。另本人能力有限，仅根据自己所了解的知识回答，若有误处或不足之处望不吝指出。一、什么是数据倾斜以及数据倾斜是怎么产生的？简单来说数据倾斜就是数...
2019-12-05 10:45:19
1032
原创 SpringBoot系列之集成Thymeleaf用法手册
1、模板引擎引用百度百科的模板引擎解释：模板引擎（这里特指用于Web开发的模板引擎）是为了使用户界面与业务数据（内容）分离而产生的，它可以生成特定格式的文档，用于网站的模板引擎就会生成一个标准的HTML文档。在JavaEE领域有几中比较常用的模板引擎，分别是Jsp、Velocity、Freemarker、Thymeleaf，不过对于前端页面渲染效率来说，jsp其实还是最快的，Vel...
2019-12-04 14:32:29
1103
原创 Linux jmap查看Java程序堆内存的使用情况
敲jmap命令后，显示下面的命令[root@~]# jmapUsage:jmap [option] <pid>(to connect to running process)jmap [option] <executable <core>(to connect to a core file)jma...
2019-12-04 08:46:02
1935
原创 Spark Streaming实时流处理项目实战笔记——使用KafkaSInk将Flume收集到的数据输出到Kafka
Flume配置文件a1.sources = r1a1.sinks = k1a1.channels = c1a1.sources.r1.type = avroa1.sources.r1.bind = hadoopa1.sources.r1.port = 44444a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSinka...
2019-12-03 19:20:24
218
原创 SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation
Flume启动时，堵塞，重启虚拟机无效，折腾了三个小时最后重启电脑解决，原因未知
2019-12-03 19:15:37
7753
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人