- 博客(38)
- 收藏
- 关注
RSS订阅原创 关于hive报错记录
MetaException(message:For direct MetaStore DB connections, we don't support retries at the client le...解决办法：在mysql中输入：drop database hive;create database hive;alter database hive character set latin1;前提：元数据库已经换成mysql，hive是数据路名字根据自己的更改Cannot execu.
2020-05-16 16:31:22
221
转载 通俗易懂，线程安全与非线程安全
ArrayList和Vector有什么区别？HashMap和HashTable有什么区别？StringBuilder和StringBuffer有什么区别？这些都是Java面试中常见的基础问题。面对这样的问题，回答是：ArrayList是非线程安全的，Vector是线程安全的；HashMap是非线程安全的，HashTable是线程安全的；StringBuilder是非线程安全的，StringBuff...
2020-03-06 16:39:03
206
原创 SpringMVC执行流程
1、 用户发送请求至前端控制器DispatcherServlet（前端控制器）2、 DispatcherServlet收到请求调用HandlerMapping（处理器映射器）。3、 处理器映射器根据请求url找到具体的处理器，生成处理器对象及处理器拦截器(如果有则生成)一并返回给DispatcherServlet。4、 DispatcherServle...
2020-02-12 16:35:25
82
原创 关系型数据库和非关系型数据库
壹、数据库介绍数据库：就是数据仓库，他是长期存储在计算机内，有组织的，可共享的数据集合数据库管理系统（DNMS）：用来对数据进行存储，管理等操作贰、数据库分类分为层次式数据库、网络式数据库和关系式数据库三种，不同的数据库是按不同的数据结构来联系组织的。 现今，最常见的数据库模型主要有两种，关系型数据库（SQL)和非关系型数据库(NoSQL)。关系型数据库： 是指采用了关...
2020-02-10 16:23:12
621
1
原创 RDD,DataFrame,DataSet介绍，及区别
RDD全称Resilient Distributed Dataset，弹性分布式数据集，它是记录的只读分区集合，是Spark的基本数据结构，见名释义：弹性，表现在两个方面，一是当计算过程中内存不足时可刷写到磁盘等外存上，可与外存做灵活的数据交换；二是RDD使用了一种“血统”的容错机制，在结构更新和丢失后可随时根据血统进行数据模型的重建；分布式，可分布在多台机器上进行并行计算；...
2020-02-04 17:04:11
386
1
原创 Spark面试题
SparkSpark具备哪些优势1）高效性：内存计算下，Spark比MapReduce快100倍。Spark使用最先进的DAG(有向无环图）调度程序，查询优化程序和物理执行引擎，实现批量和流式数据的高性能2）易用性：Spark支持Java,Python和Scala的API，还支持超过八十种算法，使用户可以快速构建多样的应用3）通用性：Spark提供了统一的解决方案。Spark可以用...
2020-02-04 17:01:59
603
原创 SpringMVC事务管理
1)什么是事务事务就是对一系列数据库的操作（比如插入多条数据）进行统一的提交或回滚操作，如果插入成功，那么一起成功，如果中间有一条出现异常，那么回滚之前的所有操作。这样可以防止出现脏数据，防止数据库数据出现问题。例子：比如转账，我本来有200块，你有100。然后我转给你100，如果转账成功，那我就还有100，你有200。这就是事务成功。如果转账失败我还有100，但是...
2020-02-03 10:20:03
1350
原创 Kafka面试问题
kafka介绍官方：分布式发布/订阅的消息系统是一个分布式的，支持分区的（partition），多副本的（replica），基于zookeeper协调 的分布式消息系统，最大特征是：实时处理大量数据，以满足各种场景，比如基于hadoop的批处理系统，低延迟的实时系统，storm/Spark流式处理引擎，web/nginx日志，访问日志，消息服务等等，使用scala语言编写特征：...
2020-02-01 18:19:37
188
原创 idea中学习spring入门学习Hello World实现
1，新建一个maven项目2.导入依赖<dependencies> <!-- https://mvnrepository.com/artifact/org.springframework/spring-context --> <dependency> <groupId>org.sp...
2020-01-30 19:29:19
224
原创 我的java面试题
JAVA基础1．JDK 和 JRE 有什么区别？JDK：Java Development Kit 的简称，Java 开发工具包，提供了 Java 的开发环境和运行环境。JRE：Java Runtime Environment 的简称，Java 运行环境，为 Java 的 运行提供了所需环境。2．== 和 equals 的区别是什么？== 对于基本类型来说是值比较，对于引用类型来...
2020-01-23 22:52:51
648
原创 ES报错解答
Java HotSpot(TM) 64-Bit Server VM warning: Cannot open file logs/gc.log due to Permission denied是因为第一次启动使用的是root权限，在config目录下建了elasticsearch.keystore文件，删除即可，在用非root用户启动es，elk...
2019-12-17 09:23:58
888
1
原创 Linux启动应用脚本
所有名字路径改成自己的1，启动hdfs和yarnxnj-1 : start-all.sh 分别启动命令start-yarn-sh start-dfs.sh2，启动zookeeperxnj-1 : sh zkmanager .sh start 脚本：#! /bin/bashfor host in xnj-1 xnj-2 xnj-3doecho ...
2019-12-10 19:13:51
409
原创 kafka
1.kafka介绍：Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是：日志收集系统和消息系统。Kafka主要设计目标如下：以时间复杂...
2019-12-09 14:12:50
134
原创 备忘录1.0
回调函数：得到反馈超链接<a href="/index.html">想要跳转，必须在Controller中写@RequestMapping(value = "/index.html") public String test() { System.out.println("......index"); return "index"；...
2019-12-09 14:05:54
140
原创 Nginx搭建图片服务器
1，安装Nginx,Vsftpdhttps://blog.csdn.net/weixin_44730266/article/details/1033377882，开始搭建需要在nginx/html下创建一个images文件夹（实际访问的不是这个路径）mkdir /usr/share/nginx/html/images修改nginx/conf/nginx.conf在默认的serve...
2019-12-02 07:51:34
199
原创 Centos7防火墙
1、防火墙CentOS升级到7之后，发现无法使用iptables控制Linuxs的端口，google之后发现Centos 7使用firewalld代替了原来的iptables。下面记录如何使用firewalld开放Linux端口：查看防火墙状态systemctl status firewalld开启防火墙systemctl start firewalld关闭防火墙...
2019-12-01 18:56:13
113
原创 Centos7下安装FTP
1，安装vsftpd组件yum -y install vsftpd安装完后，有/etc/vsftpd/vsftpd.conf 文件，是vsftp的配置文件。2，添加一个ftp用户useradd ftpuserpasswd 123456输两遍ok用来登陆ftp服务器登陆时输入用户名密码，用普通登陆不要匿名登陆默认路径为/home/ftpuser3，防火墙开启...
2019-12-01 18:55:14
147
原创 linux图片服务器+ftp安装配置
Linux安装ftp组件(8步完成)https://blog.csdn.net/CSDN_LQR/article/details/53333946linux上搭建图片服务器https://blog.csdn.net/xjy9266/article/details/80947729
2019-11-29 11:01:25
121
原创 reduce和reduceByKey的区别
https://blog.csdn.net/lucasreduce和reduceByKey的区别1、reduce：把RDD中的每一个元素拿出来处理并形成一个新的RDD元素2、reduceByKey，把RDD中的key相同的一组数据拿出来处理，形成一个RDD里面放的是元组...
2019-11-27 09:13:04
206
原创 Map和FlatMap的区别
https://www.cnblogs.com/wbh1000/p/9846401.htmlflatMap会将其返回的数组全部拆散，然后合成到一个数组中flatmap:对每一个数据切分压平，全部拆散，聚合成一个package MapAndFlatMapimport org.apache.spark.{SparkConf, SparkContext}object MapAndF...
2019-11-27 09:11:59
153
原创 Linux 修改编码格式
vi /etc/profile添加export LC_ALL="zh_CN.UTF-8"export LANG="zh_CN.UTF-8"source /etc/profile
2019-11-07 14:33:36
332
1
原创 es建立软连接
ln -s [target] [link]如果想建立一个testa指向test。可以写成ln -s /xxx/test /xxx/testaln -s confighttp httpd.conf一会弄
2019-11-05 08:53:03
269
原创 ElasticSearch安装配置
解压即可如果之前一直是root用户操作，会报错，因为es默认不允许在root用户使用增加zpark用户useradd elk给zpa用户设置密码passwd zpark将/root/apps的访问权限设置给zpark用户chown -R zpark:zpark /root/apps在root用户下的cd /chown -R zpark:zpark /root...
2019-11-04 13:31:40
129
转载 Lucene的介绍和使用
https://blog.csdn.net/weixin_42633131/article/details/82873731
2019-10-30 09:59:11
97
原创 安装配置redis：修改密码
设置密码：在/usr/local/redis/bin目录下执行 ./redis-cli 进入redis客户端查询redis密码：config get requirepass设置redis密码为root： config set requirepass root认证登陆redis： auth root...
2019-10-25 09:50:53
240
原创 Kafka的安装配置以及使用
一，安装好zookeeper，做好准备工zookeeper安装目录：cd apps/zookeeper-3.4.6/启动zookeeper：sh zkmanager.sh start （已经配置好了）二，安装Kafka1，下载kafua安装http://archive.apache.org/dist/kafka/2，上传到虚拟机安装解压kafka 2.1.2-...
2019-10-14 18:58:04
205
原创 小技巧
虚拟机快速删除文件内容，方便配置文件更改echo 1 > 文件名 ： 更新文件内容，写入一个数字写脚本vi 文件 创建一个文件写入脚本文件chmod +x 文件名 （增加权限）复制文件到其他虚拟机scp -r 加文件 pwd例 ：scp -r apps/kafka_2.12-2.2.0 xnj-2:$PWD强制杀进程先jps...
2019-10-14 17:57:17
99
原创 flume采集文件到HDFS+Nginx
flume采集文件到HDFS1) 安装配置flume导入解压 解压命令 tar -zxvf ***********配置文件路径 cd apps/flume-1.6.0/dir-hdfs.conf(配置静态) cd apps/flume-1.6.0/tail-hdfs.conf(实时采集数据到HDFStail-hdfs.conf 配置文件启动命令...
2019-10-14 13:39:58
221
原创 centos7 修改时区
今天发现服务器时间比北京时间慢12小时，使用date命令发现是EDT时间。那么现在只要改成北京时间的时区CST就可以了，修改如下：[root@slave1 logs]# dateTue Aug 28 21:37:04 EDT 2018[root@slave1 logs]# mv /etc/localtime /etc/localtime.bak[root@slave1 logs]# ...
2019-10-14 08:47:23
147
原创 封方法到sys.js
目录结构目标：把index_js下的TableInit();方法封装进Sys中1，最初版，无封装<script type="text/javascript"> $(function () { //1.初始化Table var oTable = new TableInit(); oTable.Init();...
2019-09-22 17:24:22
264
原创 关于逆向工程
Mybatis逆向工程会生成实例及实例对应的example（用于添加条件，相当于where后的部分）xxxExample example = new xxxExample();Criteria criteria = example.createCriteria();方法说明：// 1.添加升序排列条件，DESC为降序example.setOrderByClause("字段名ASC")/...
2019-09-22 17:03:58
172
转载 Spring MVC 常用注解
1、@Controller在SpringMVC中，控制器Controller负责处理由DispatcherServlet分发的请求，它把用户请求的数据经过业务处理层处理之后封装成一个Model，然后再把该Model返回给对应的View进行展示。在SpringMVC中提供了一个非常简便的定义Controller的方法，你无需继承特定的类或实现特定的接口，只需使用@Controll...
2019-09-19 10:51:38
58
转载 static，this，final关键字在java中的含义和应用场景
this关键字this 关键字主要有以下几种作用：1：当类成员变量与局部成员变量重名时，可以用this 关键字把局部成员变量赋值给类成员变量2：this可以用来在构造函数中调用其他构造函数 //必须定义在构造函数中的第一行3：this调用本类中的其他方法，this通常省略下面就通过一段代码对上面的用法做一个示例：public class TestThis { ...
2019-09-09 19:35:51
164
原创 java中构造方法的作用
java中构造方法指的是：1、与类名相同，无返回类型的方法，参数可以为空，也可以带参数。比如一个 Dao 类，private Dao(){}这个就是无参数的构造方法private Dao(String name){}这个就是带参数的构造方法作用：用来初始化 java 类，提供类的初始化和实例化，以便调用。2、构造方法可以被重载3、在new对象的时候被调用例: User use...
2019-09-09 19:30:30
464
原创 java面向对象思想，及继承，封装和多多态
1、面向对象有以下特点： （1）面向对象是一种常见的思想，比较符合人们的思考习惯； （2）面向对象可以将复杂的业务逻辑简单化，增强代码复用性； （3）面向对象具有抽象、封装、继承、多态等特性。2、类和对象的关系 类： 对某类事物的普遍一致性特征、功能的抽象、描述和封装，是构造对象的模版或蓝图，用 Java 编写的代码都会在某些类的内部。类之间主要有：依赖、聚合、继...
2019-09-09 19:01:19
122
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人