迷茫君-CSDN博客

原创 IDEA中Maven项目导入依赖包，出现红线波浪线的问题（补充）

1.首先确认IDEA的本地maven配置参考本人历史maven配置博客快速打开方式：ctrl + alt + s调出setting配置，然后搜素框输入maven搜素配置2.若本地maven配置正确，关闭项目重新打开后reload3.若reload后任然标红，清理本地仓库更新请求文件4.重新关闭项目然后打开，若任然标红然后再reload5.若reload后任然存在引入包标红，按照步骤3只清理标红的jar包，将整个版本目录清理掉6.手动引入标红ja...

2021-08-18 09:35:21 4063

原创 String、StringBuffer、StringBuilder

一、String（字符串常量）　　字符串广泛应用在Java 编程中，在 Java 中字符串属于对象，Java 提供了 String 类来创建和操作字符串。　　String操作时内存变化图：　　初始String值为“hello”，然后在这个字符串后面加上新的字符串“world”，这个过程是需要重新在栈堆内存中开辟内存空间的，最终得到了“hello world”字符串也相应的需要开辟...

2021-08-12 10:30:28 159

原创 TooManyResultsException，Expect one result or null to be return by selectOne...

1、场景select语句返回两列数据，需要以kv的格式接收，于是自定义实现了一个CustMap拦截器，只要使用了CustMap，就会对sql的返回结果拦截重新封装为Map<K, V>结构返回，测试环境能够正常使用，上线到生产环境后就一直报TooManyResultsException，Expect one result or null to be return by selectOne…2、分析Mybatis的动态代理（此处不介绍，有需要的可以自行搜索了解），底层默认是selectOne方

2021-08-12 10:20:29 580

原创 JAVA程序获取图片信息

1.依赖引入<dependency> <groupId>com.drewnoakes</groupId> <artifactId>metadata-extractor</artifactId> <version>2.9.1</version></dependency>2.代码 /** * 获取图片标签信息 * * @param path 图片路

2021-07-08 10:46:30 1731

原创 Win10怎么把图片打开方式恢复默认照片查看器

新建一个TXT文本文档，把以下代码复制粘贴到其中：Windows Registry Editor Version 5.00; Change Extension’s File Type[HKEY_CURRENT_USER\Software\Classes.jpg]@=“PhotoViewer.FileAssoc.Tiff”; Change Extension’s File Type[HK...

2020-03-29 21:24:51 618

翻译并发、并行、串行、同步、异步的区别？

1.并发编程又叫多线程编程。在程序中，往往有很多很耗时的工作，比如上传文件、下载文件、跟客户聊天需要长时间建立连接。这种时候，一个线程是服务不了多个用户的，会产生因为资源独占产生的等待问题。并发的实质是一个物理CPU(也可以多个物理CPU) 在若干道程序之间的多路复用，并发性是对有限物理资源强制行使多用户共享以提高效率（买票问题并发进行）。并发当有多个线程在操作时,如果系统只有...

2019-01-25 16:17:21 12644 6

转载 Flume和Kafka有什么区别联系，什么时候使用，什么时候结合？

观点一：Flume：　　日志采集。线上数据一般主要是落地文件或者通过socket传输给另外一个系统。这种情况下，你很难推动线上应用或服务去修改接口，直接向kafka里写数据。这时候你可能就需要flume这样的系统帮你去做传输。　　对于数量级别，做过单机upd的flume source的配置，100+M/s数据量，10w qps flume就开始大量丢包。因此我们在搭建系统时，抛弃了flume...

2018-09-21 09:53:39 1085

转载 SparkStreaming与Storm

1、SparkStreaming与Storm对比比较内容 Storm Spark Streaming 实时计算模型纯实时，来一条数据，处理一条数据准实时，对一个时间段内的数据收集起来，作为一个RDD，再处理实时计算延迟度毫秒级秒级吞吐量低高事务机制支持完善支持，但不够完善健壮性 ...

2018-09-07 23:59:51 296

原创 SparkStreaming与Kafka集成

官方文档参考：http://spark.apache.org/docs/2.2.2/1、概述　　Spark Streaming是核心Spark API的扩展，可实现实时数据流的可扩展，高吞吐量，容错流处理。数据可以从许多来源（如Kafka，Flume，Kinesis或TCP套接字）中获取，并且可以使用以高级函数表示的复杂算法进行处理map，例如reduce，join和window。最后，处...

2018-09-07 23:37:15 425

原创 Spark安装部署

下载地址上传解压[root@master Spark]# pwd/opt/app/Spark[root@master Spark]# rz[root@master Spark]# tar -zxvf spark-2.2.2-bin-hadoop2.7.tgz[root@master Spark]# lsspark-2.2.2-bin-hadoop2.7 spark-2.2....

2018-09-04 00:00:19 625

原创 IDEA中Maven项目导入依赖包，出现红线波浪线的问题

使用IDEA编程软件，在创建Maven项目导入依赖包时，出现了红色波浪线的问题：原因分析：使用IDEA创建Maven项目时，使用的是默认的Maven库Repository，安装Maven时的默认路径基本为C:\Users\Administrator.m2\repository，那么你在创建Maven项目之后，使用pom.xml引入依赖包之前，要重新设置使用自己的Maven库Repo...

2018-09-03 20:15:39 84218 15

转载 Akka简介

一、Akka简介　　Akka基于Actor模型，提供了一个用于构建可扩展的（Scalable）、弹性的（Resilient）、快速响应的（Responsive）应用程序的平台。　　 Actor模型：　　在计算机科学领域，Actor模型是一个并行计算（Concurrent Computation）模型，它把actor作为并行计算的基本元素来对待：为响应一个接收到的消息，一个actor能...

2018-09-01 15:33:08 16117

原创 Akka中Actor消息发送与接收（案例二）

本案例内容不做注释，不明白的参考：Akka中Actor消息发送与接收（案例一） https://blog.csdn.net/qq_41610418/article/details/82286992](https://blog.csdn.net/qq_41610418/article/details/82286992)②Client与Server相互通信服务端：import akk...

2018-09-01 15:02:24 640

原创 Akka中Actor消息发送与接收（案例一）

①Client发送消息，Server接收并响应本案例只在本机测试（Server与Client在同一电脑上），也可以在不同电脑上测试（更改地址和端口等信息，原理都相同，此处就不做介绍）这里我单独写了一个MessageController专门存放消息类//服务端发送消息到客户端case class ServerMessage(msg:String)//客户端向服务器发送消息...

2018-09-01 14:36:52 4080 1

原创 Scala安装配置

1、Scala安装包下载：https://www.scala-lang.org/download/2、下载解压安装安装过程,可以修改安装目录，没有特殊要求的直接默认安装就可以了。3、配置环境变量1、右击【我的电脑】–【属性】–【高级系统设置】–【环境变量】 2、设置 SCALA_HOME 变量单击新建，在变量名栏输入：SCALA_HOME 变量值一栏输入：D:\...

2018-08-28 21:19:43 525

原创 Storm安装部署

1、环境信息主机名操作系统版本 IP地址安装软件 master CentOS 7.0 192.168.100.100 JDK1.8、zookeeper-3.4.12、apache-storm-1.2.2 slave1 CentOS 7.0 192.168.100.101 JDK1.8、zookeeper-3.4.12、apa...

2018-08-27 22:52:17 703

原创 Storm基础

一、Storm是什么　　Storm是开源的分布式实时计算系统，擅长处理海量数据，适用于数据实时处理而非批处理。　　批处理使用的大多是鼎鼎大名的hadoop或者hive，作为一个批处理系统，hadoop以其吞吐量大、自动容错等优点，在海量数据处理上得到了广泛的使用。但是，hadoop不擅长实时计算，因为它天然就是为批处理而生的，这也是业界一致的共识。　　举个搜索场景中的例子，当一个卖家发...

2018-08-27 21:59:18 223

转载 HBase

1、HBase简介　　HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建大规模结构化的存储集群。HBase的目标是存储并处理大型数据，具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据。　　与MapReduce的离线批处理计算框架不同，HBase是一个可以随机访问的存储和检索数据平台，弥补了HDF...

2018-08-27 21:18:39 587

原创 HBase 启动后HMaster进程自动消失

原因分析1、hadoop 与 hbase 版本不兼容，导致的异常。2、log日志信息显示 org.apache.hadoop.hbase.TableExistsException: hbase:namespace 异常，可能是更换了hbase的版本后zookeeper还保留着上一次的hbase设置，造成了冲突。解决方案1、进入zookeeper的bin目录；2、执行客户端脚本：...

2018-08-24 23:15:58 7121 1

原创 Sqoop常用命令与参数

Sqoop常用命令命令描述 import 将数据导入到集群，HDFS，HIve，HBase export 将集群的数据导出到传统数据库中 job 用来生成一个sqoop任务的，生成后，该任务不执行，等待使用命令执行 list-databases 显示所有数据库名字 list-tables 显示某个数据库下所有表的名字...

2018-08-15 23:59:31 704

原创 Sqoop常用语法

数据导入从关系型数据库向大数据集群HDFS，Hive，HBase中传输数据，叫做导入。使用关键字import。数据导入到HDFS[root@master ~]# sqoop import \&amp;gt; --connect jdbc:mysql://master:3306/mysql_test?useSSL=false \&amp;gt; --username root \&amp;gt; ...

2018-08-15 23:43:43 1114

原创 Sqoop介绍与安装教程

Sqoop简介1、Sqoop是一款在Hadoop和其它关系型数据库之间传递数据的工具。2、核心的功能有两个：导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统；导出数据：从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等。3、Sqoop与Hive本质sqoop工具：本质是迁移数据，迁移的方式...

2018-08-15 20:42:40 1495

原创 Sqoop数据导入到Hive中报错org.apache.hadoop.hive.conf.HiveConf

Sqoop数据导入到hive中报错：解决方法方法一：因为sqoop需要一个hive的包，将hive/lib中的hive-common-2.3.3.jar拷贝到sqoop的lib目录中，重新执行试试。此方法本人认为虽然能解决问题，但是不是最佳合理的解决途径。方法二： jar包版本不匹配造成的，此方法正在整理，稍后上传。。。...

2018-08-15 19:22:10 2960

原创 Entering emergency mode. Exit the shell to continue.

CentOS虚拟机断电或强制关机，再开机出现问题：找出问题出现在哪：这里的 journalctl 是查看系统的日志信息；直接输入此命令查看，日志内容可能很多，快速翻页或者直接定位到最新的日志信息，发现有标红的，说明此处出现错误。错误原因： failed to mount /sysroot. Dependency failed for Initrd root File Syste...

2018-08-15 15:05:12 42581 34

原创 Hive压缩方式设置

Map 输出阶段开启 map 输出阶段压缩可以减少 job 中 map 和 reduce task 之间数据传输量。具体配置如下：#开启 hive 中间传输数据压缩功能hive (bigdata)&amp;gt; set hive.exec.compress.intermediate=true;#开启 mapreduce 中 map 输出压缩功能hive (bigdata)&amp;gt; se...

2018-08-14 21:38:40 2218

原创 Hive自定义函数

Hive的自定义的函数的步骤：1、创建自定义函数类继承 org.apache.hadoop.hive.ql.exec.UDF类 2、实现evaluate函数 3、把程序打包放到目标节点上去先从eclipse导出jar包上传到集群目标节点lib库[root@master ~]# cd /opt/app/Hive/hive-2.3.3/[root@master hi...

2018-08-14 14:04:14 4640

原创 Hive常用命令（四）--DQL操作

HQL的DQL操作基本与SQL相同基本查询hive (bigdata)&gt; select * from student;hive (bigdata)&gt; select name from student;常用函数hive (bigdata)&gt; select score+10 from score;hive (bigdata)&gt; sel...

2018-08-13 23:50:15 574

原创 Hive常用命令（三）--DML操作

Data Manipulation Language：数据操纵语言数据导入1、load模式LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION(partcol1=val1,partcol2=val2 ...)]load data:表示加载数据local:表示从本地加...

2018-08-13 22:29:22 222

原创 FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException

FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lanle to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 默认情况下，Hive元数据保存在内嵌的Derby数据库中，只能允许一个...

2018-08-09 19:13:49 5280

原创 MySql Host is blocked because of many connection errors; unblock with 'mysqladmin flush-hosts'

环境：Linux，mysql5.7 错误：Host is blocked because of many connection errors; unblock with ‘mysqladmin flush-hosts’ 原因：　　同一个ip在短时间内产生太多（超过mysql数据库max_connection_errors的最大值）中断的数据库连接而导致的阻塞；解决方法： 1、使用my...

2018-08-09 18:01:39 284

原创 MapReduce Join（二）--Reduce Join编程实现

案例要求订单数据orders 订单号商品编号数量 100001 03 3 100002 02 1 100001 04 4 100003 01 1 100004 01 2商品数据produce 商品编号商品名称 01 小米 02 华为...

2018-08-07 22:57:52 252

原创 MapReduce Join（一）--原理

MapReduce Join　　对两份数据data1和data2进行关键词连接是一个很通用的问题。　　如果数据量比较小，完全可以在内存中完成连接；如果数据量比较大，在内存进行连接操会发生内存溢出（OOM）。那么此时就可以用 MapReduce Join 来解决大数据的连接问题。1. Reduce Join　　map 端的主要工作：为来自不同表(文件)的key/value 打标记以区...

2018-08-07 20:52:31 2024

原创 Writable和WritableComparable区别

Hadoop的key和value的传递序列化需要涉及两个重要的接口Writable和WritableComparable： 1、Writableimport java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.Writable;public...

2018-08-06 20:04:14 1839 1

原创 java.lang.RuntimeException: java.io.EOFException

运行时出现这样的错误：java.lang.RuntimeException: java.io.EOFException at org.apache.hadoop.io.WritableComparator.compare(WritableComparator.java:165) at org.apache.hadoop.mapred.MapTask$MapOutputBuffe...

2018-08-06 19:15:18 6410 4

原创虚拟机网络连接失败并且重启报错

虚拟机网络连接失败并且重启报错与系统自带的NetworkManager这个管理套件有关系输入命令#停止NetworkManagersystemctl stop NetworkManager#开机禁止启动NetworkManagersystemctl disable NetworkManager...

2018-08-05 18:04:06 4014 2

原创 Linux常用指令（三）--vi/vim编辑器指令

Vim工作模式插入命令命令作用 i 在光标之前插入文本 a 在光标之后插入文本 I（shift+i）在文本的开始插入文本，行首 A（shift+a）在文本的结尾插入文本，行末 o 在光标的下方插入新行 O（shift+o）在光标所处行的上方插入新行编辑命令（底行命令） ...

2018-08-05 16:45:27 213

原创 Linux常用指令（二）

gzip gun zip作用：压缩（解压）文件，压缩文件的后缀名为.gz gzip [压缩文件] gzip [-d] [解压文件] gunzip [解压文件] gzip只能用来压缩文件，不能压缩目录[root@localhost aaa]# lsaaa.txt##压缩[root@localhost aaa]# gzip aaa.txt [root@localh...

2018-08-05 16:37:36 202

原创 Linux

由于后期的Hadoop，Spark等都要运行在Linux上，在这里就简单介绍一下。1.Linux简介Unix 1969年 Linux 1991年①Linux是一个自由和开放源代码的操作系统，有很多不同的发行版本，使用的都是Linux内核。 ②开发版和发行版：发行版就是基于Linux的内核，增加一些应用程序，增加一些桌面。 ③Linux发行版两大阵营： Redhat：Redh...

2018-08-05 16:11:12 124

原创 Hadoop集群搭建（二）-- 集群搭建（部分）

一、基础信息1.集群节点地址分配主机名 ip master 192.168.100.200 slave1 192.168.100.201 slave2 192.168.100.2022.软件使用版本软件版本 jdk jdk1.8.0_172 hadoop hadoop-2.7...

2018-08-04 10:00:33 640 3

原创 Hadoop集群搭建（一）--虚拟机安装（CentOS 7）

安装虚拟机1.在D:\VM\work目录下创建文件夹用于存放创建的虚拟机。 2.打开VMware Workstation软件编辑>虚拟网络编辑器，配置相关信息 3.创建虚拟机 4.打开创建的虚拟机，配置基本信息 ...

2018-08-04 09:49:10 637

jstorm-core-2.4.0.jar

java读取空zip压缩包报错，如何过滤空包文件？