qq_36561105的博客

转载 ssh连接华为云总是自动断开的解决方法

1.通过ssh远程连接服务器2.修改 sshd 配置文件vim /etc/ssh/sshd_config3.找到相关配置参数#ClientAliveInterval 0#ClientAliveCountMax 3去掉注释修改为ClientAliveInterval 30 #服务端每隔多少秒向客户端发送一个心跳数据ClientAliveCountMax 86400 #客户端多少次没有相应，服务器自动断掉连接重启 sshd 服务service sshd restart

原创 配置mybatis-plus的xml遇到的坑

今天配置mybatis-plus遇到的坑classpath相当于编译之后的classes目录，classpath*相当于读多个文件，** 代表匹配多层目录， *匹配多个字符在maven的pom中加如下配置，才能在编译的时候把java目录中的xml文件带进去。<build> <resources> <resource> <directory>s...

原创 记一次报错

java.lang.NoSuchMethodError: com.lmax.disruptor.dsl.Disruptor.<init>(Lcom/lmax/disruptor/EventFactory;ILjava/util/concurrent/ThreadFactory;Lcom/lmax/disruptor/dsl/ProducerType;Lcom/lmax/disrupt...

原创 Hbase Phoenix 踩坑

工作中用到了Hbase，由于Hbase原生api封装层次低，使用不方便，因此使用了Phoenix，这里记录使用过程中的踩坑心得。·················································································································使用Phoenix需要注意一. 使...

原创 深入理解Synchronized关键字底层原理及作用

https://blog.csdn.net/Imobama/article/details/81119812

转载 elasticsearch 集群无法启动出现如下提示 failed to send join request to master

2019-10-10T14:59:19,556][INFO ][o.e.d.z.ZenDiscovery ] [node-1] failed to send join request to master [{node-1}{Sys2MGa7TL6JE7AZjIGlmQ}{dmA51XU2QP2vZsRzLet39g}{192.168.127.112}{192.168.127.112:930...

原创 Nginx Too Many Open Files(1024)

2019/02/25 08:31:31 [crit] 15930#15930: accept4() failed (24: Too many open files)出现这个错误可能是由于系统的ulimit限制和nginx自身的配置有关系，先来了解下概念。什么是ulimit?ulimit命令用来限制系统用户对shell资源的访问。如果不懂什么意思，下面一段内容可以帮助你理解：假设有...

原创 IDEA中scala生成变量后自动显示变量类型

在idea中编写scala程序时，按ctrl + alt + v 推导变量的时候，默认是这样的def main(args: Array[String]): Unit = { val ints = List(1,2,3,4,5,6,7,8) // 滑动 val unit = ints.sliding(2) unit.foreach(x=>println...

转载 Spark之sample算子

在调用spark的sample算子时，对应的方法为：sample(withReplacement : scala.Boolean, fraction : scala.Double，seed scala.Long)sample算子是用来抽样用的，其有3个参数withReplacement：表示抽出样本后是否在放回去，true表示会放回去，这也就意味着抽出的样本可能有重复fractio...

原创 MapReduce与HBase交互时驱动方法ToolRunner.run的小细节

原创 解决IDEA maven 打包老是自动使用1.5的JDK问题

idea默认maven打包的java版本是1.5若想用1.8的版本打包，可以在pom.xml里面设置jdk版本，但是每次这样设置的话太麻烦。也可以这样，直接改设置maven的settings.xml，以后创建的maven工程都是你想要的版本！打开apache-maven-3.5.4\conf文件下的settings.xml文件在180行左右的profiles标签内加入这么一段话，如...

原创 yarn 启动时，nodemanager 成功，但是resourcemanager失败解决

Namenode和ResourceManger如果不是同一台机器，不能在NameNode上启动 yarn，应该在ResouceManager所在的机器上启动yarn。现在问题解决了。

转载 Zookeeper集群自动启动脚本 -- export 的注意点

前提补充:我们可以通过ssh操作另一台机器测试:ssh bd2 mkdir /root/bd1但是发现 bd2 上面的 zookeeper并没有启动原因是zookeeper启动的时候需要一些环境变量,特别是JAVA_HOME,而在bd1上使用ssh的时候其实只是一个bash的会话,在这个会话里面是没有这个JAVA_HOME的,所以启动不了技术点: export 的知识点...

转载 zookeeper 中 Watcher 通知机制的一点理解

首先，ZooKeeper 提供了分布式数据的发布/订阅功能。这让我想到一种模式，观察者模式（发布订阅模式）：一个典型的发布/订阅模型系统定义了一种一对多的订阅关系，能够让多个订阅者同时监听某一个主题对象，当这个主题自身状态变化时，会通知所有订阅者，试它们能够做出相应的处理。那 ZooKeeper 是不是也是使用了这个经典的模式呢？在 ZooKeeper 中，引入了 Watcher 机制来实...

原创 hadoop2.7.2运行wordcount时NullPointerException

首先，不要慌，要耐心我用的idea首先要在path里配置 HADOOP_PATH对应的hadoop的bin目录下应该有在启动的时候要设置主函数的参数注意，输入文件一定要直接在input下，输出参数的文件夹不能直接存在，例如输出参数为图中所示，那么E:\javaStudy\output下不能有output文件夹然后就ok了...

原创 hadoop 50070 无法访问问题

解决办法1：[root@djt002 hadoop]# vi /etc/selinux/config　　改为SELINUX=disabled解决办法2：　　查看你的$HADOOP_HOME/etc/hadoop下的core-site.xml和hdfs-site.xml是否配置好解决办法3：　　必须在hadoop-env.sh文件中设置Java的绝对路径...

转载 Linux sudo 命令的介绍及用法

简单的说，sudo 是一种权限管理机制，管理员可以授权于一些普通用户去执行一些 root 执行的操作，而不需要知道 root 的密码。严谨些说，sudo 允许一个已授权用户以超级用户或者其它用户的角色运行一个命令。当然，能做什么不能做什么都是通过安全策略来指定的。sudo 支持插件架构的安全策略，并能把输入输出写入日志。第三方可以开发并发布自己的安全策略和输入输出日志插件，并让它们无缝的和 su...

转载 虚拟机ping不通主机，但是主机可以ping通虚拟机

虚拟机ping不通主机，但是主机可以ping通虚拟机我在Windows10系统安装了虚拟机，设置的主机与虚拟机的连接方式是桥接，安装好后，发现虚拟机ping不通主机，但是主机可以ping通虚拟机。我的操作是：关闭防火墙，发现虚拟机可以ping通主机了。说明是Windows10防火墙阻止了。现在存在的问题是：如果我一直关闭防火墙也不是个事啊？这样做会影响我的电脑安全的。于是我想我要...

转载 sql中的explain

关于sql优化，这个话题太大，我怕我说不好，因此本文仅以sql优化工具为题，如果对sql优化有兴趣，我建议去阅读下高性能Mysql这本书，我最近也在读，此文也算是我在阅读此书过程中的一些收获总结。对于大部分开发人员来说，平常接触的无非就是增删改查这些基本操作，创建存储过程，视图等等都是DBA该干的活，但是想要把这些基本操作写的近乎完美也是一件难事。而explain显示了MySQL如何使用索引来...

原创 多线程中的判断建议用while，不用if

首先一句话总结，之所以用while是因为线程被唤醒后，很可能已经不满足判断条件了，所以要再进行一次条件判断。例如：synchronized (monitor) { //判断条件是否得到满足 if(!locked) { //等待唤醒 monitor.wait(); } //业务逻辑 ......}假如此刻其他线程...

原创 子类与父类实现多态的注意点

若子类重写了父类方法，就意味着子类里定义的方法彻底覆盖了父类里的同名方法，系统将不可能把父类里的方法转移到子类中对于实例变量则不存在这样的现象，即使子类里定义了与父类完全相同的实例变量，这个实例变量依然不可能覆盖父类中定义的实例变量。简单来说，方法可以被覆盖，属性不可以被覆盖。 public class FieldMethodTest { public static void ...

原创 RSA的简单认识

RSA是一种非对称加密算法，密钥分为公钥和私钥，私钥加密的内容，只有用公钥或者私钥来解密，公钥加密的内容，只能用私钥来解密，公钥可以发送给别人，私钥一定要保存着自己手里。举个例子，别人想和我发信息，所以我先给别人一个带锁的箱子，这个箱子就是公钥，箱子的钥匙就是私钥，私钥一直在我手里，这样，即使在信息的传输过程中被窃取了，由于没有私钥，也无法解密。RSA 也可以用来为一个消息签名。对消息...

原创 HashMap在多线程下的死锁和覆盖原因

HashMap在jdk7之前，会产生死链和数据丢失这个问题HashMap进行存储时，如果size超过当前最大容量*负载因子时候会发生resize，首先看一下resize原代码void resize(int newCapacity) { Entry[] oldTable = table; int oldCapacity = oldTable.length;...

原创 有向图邻接表

邻接表有向图是指通过邻接表表示的有向图。有向图可以理解为一种数据结构，处理特定场景的问题会比较简单对于java来说，用map实现有向图比较便于进行查找操作。实现有向图这种数据结构并不困难，难的是如何对有向图遍历。下面代码中route是每一条有向的道路，它存在起始点和终点，唯一名称，长度等，town对应每个点，其中有一个包含所有以自身为起点的路的map集合如果做不重复遍历一定...

原创 String知识点

String s2=s1+"b";//是调用stringBuffer操作并创建一个String对象也就是说+操作符使用StringBuffer的append方式实现的最后返回一个新创建的String对象而不是string常量。"a"+"b"等价于"ab"，只是生成一个字符串常量，保存在栈中而String s2=s1+"b";保存在堆中。凡是字符串变量与字符串变量或者字符串常量之间使用+都会产生...

原创 JAVA单例模式

五种单例模式1.懒汉public class Singleton { private static Singleton instance=null; private Singleton(){ } public static Singleton getInstance(){ if(instance==null){ ...

原创 java中的各种引用

在Java语言中，除了基本数据类型外，其他的都是指向各类对象的对象引用；Java中根据其生命周期的长短，将引用分为4类。1 强引用特点：我们平常典型编码Object obj = new Object()中的obj就是强引用。通过关键字new创建的对象所关联的引用就是强引用。 当JVM内存空间不足，JVM宁愿抛出OutOfMemoryError运 行时错误（OOM），使程序异常终止，也不会靠...

原创 什么是编译型语言？什么事解释型语言？java是解释型语言吗？

编译型语言：C/C++、 Pascal（Delphi）编译就是把源代码（高级语言，人类容易读，容易理解）转换成机器码（CPU能理解，能高效的执行）解释型语言：JavaScript、Perl、Python、Ruby解释就简单多了，解析源代码，并且直接执行，没有编译过程编译程序是整体编译完了，再一次性执行。 而解释程序是一边解释，一边执行JAVA语言是一种编译型-解释型语言，同时具...

原创 Response中set-cookie里的值不能写入浏览器cookie的原因

今天遇到一个坑，发现请求响应头中的set-cookie的值不能写入浏览器cookie中。解决的办法是，响应头中的 cookie 是带有 domain 属性的（domain=0.0.1），而从 Request URL 中可以看到，我们发起请求的域名是 leyou.com，请求和响应的 domain 不匹配，浏览器就帮你自动忽略了。然后在后端进行修改，并设置了nginx中的头信息，解决了这一问...

原创 IDEA中MAVEN项目Dependency not found

在setting下的Maven中勾选Always update snapshot（更新快照）,项目开始重新加载dependency，错误全部解决 分析IDEA集成Maven，按照正常流程如果Nexus的本地仓库索引存在此jar包，则jar包便能够被关联。检查nexus本地索引时，确实没发现需要jar包。更新后，nexus存在jar包关联索引，但IDEA中Maven项目仍无法关联jar包...

原创 Linux安装ElasticSearch

环境和版本Centos 6.5 x86  ElasticSearch-6.3.2   jdk8问题与解决1.外网无法访问elasticsearch修改文件elasticsearch.yml，添加如下配置network.host: XX.XX.XX.X            //本机ip，或写0.0.0.0http.port: 9200之后可能会遇到的问题 max file ...

原创 idea项目在maven projects中显示灰色的解决办法

在使用idea的过程中，遇到其中一个maven模块变成灰色，如下所示：  造成这个的原因可能是忽略了maven模块，可以尝试如下解决方法：在idea中maven的setting中找到ignored files,看右边的面板中是否将变灰的maven模块忽略了。我的模块变灰就是因为这个原因，Settings–&gt;Maven–&gt;Ignored Files 看看是不是有勾选的。去掉就...

原创 pageHelper分页助手

今天看了看pagehelper的相关东西，发现它的原理是通过配置了一个mybaits拦截器，拦截到PageHelper.startPage(page, rows);之后第一个查询语句，然后将其拼接成不同的sql再进行查询 @Override public String getPageSql(String sql, Page page, CacheKey pageKey)...

原创 SpringBoot报错--mapper未放置在spring容器中

今天做项目，遇到了一个问题，在springboot启动时会报错，显示的意思大概为查询数据库用的mapper未放置在spring容器中，所以加载报错。后来找了找，发现在启动的主函数上忘记配置mapper包的扫描注解，于是果断加上了@MapperScan然后程序正常运行，太粗心了...

原创 SpringSecurity之加密篇

版权声明：本文为博主songhj原创文章，转载请标明出处，尊重知识，分享知识。 https://blog.csdn.net/Leo_songHJ/article/details/83277350SpringSecurity之加密篇—BCryptpassword类1. 要点概括BCryptpassword类是SpringSecurity的加密工具，封装了对密码混淆加密的方法，主要是采用盐（sa...

原创 ServletContext介绍及用法

1.1.  介绍ServletContext官方叫servlet上下文。服务器会为每一个工程创建一个对象，这个对象就是ServletContext对象。这个对象全局唯一，而且工程内部的所有servlet都共享这个对象。所以叫全局应用程序共享对象。1.2.  作用1.      是一个域对象2.      可以读取全局配置参数3.      可以搜索当前工程目录下面的资源文件4....

原创 数据库事务的四大特性以及事务的隔离级别

数据库事务的四大特性以及事务的隔离级别　　本篇讲诉数据库中事务的四大特性（ACID），并且将会详细地说明事务的隔离级别。　　如果一个数据库声称支持事务的操作，那么该数据库必须要具备以下四个特性：⑴ 原子性（Atomicity）　　原子性是指事务包含的所有操作要么全部成功，要么全部失败回滚，这和前面两篇博客介绍事务的功能是一样的概念，因此事务的操作如果成功就必须要完全应用到数据库，如...

原创 Prepared Statements 如何大幅度提高性能

 本文讲述了如何正确的使用prepared statements。为什么它可以让你的应用程序运行的更快，和同样的让数据库操作变的更快。  为什么Prepared Statements非常重要？如何正确的使用它？ 数据库有着非常艰苦的工作。它们接受来自众多并发的客户端所发出的SQL查询，并尽可能快的执行查询并返回结果。处理statements是一个开销昂贵的操作，不过现在有了Prepar...

原创 idea快捷键大全

https://blog.csdn.net/zaimeiyeshicengjing/article/details/82967451

原创 Intellij IDEA新建maven项目无法运行/新建Maven项目时没有servlet选项

Intellij IDEA新建maven项目无法运行 Edit Configurations中无法找到Main Class解决办法1 随便修改一下pom.xml，右下角会弹出一个对话框  点击Enable Auto-Import重新打开Edit Configurations，这时可以找到Main Class了。解决办法2 新建项目时，右下角已弹出上方对话框，直接点击Ena...