- 博客(26)
- 收藏
- 关注
RSS订阅原创 linux大磁盘分区挂载
linux大磁盘分区挂载超过4T无法用fdisk指令。使用parted指令然后修改开机启动挂载vi /etc/fstab挂载出现错误，需要格式化磁盘 挂在成功，df -h 查看。
2020-08-26 10:11:23
368
1
原创 Flink 使用技巧
基本使用直接参照官方文档：https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/connectors/kafka.html以下分享以下我的个性化使用方式1.EventTime使用数据源时间，注册水印StreamExecutionEnvironment env = StreamExecutionEnviron...
2020-01-09 19:25:42
2615
原创 Flink on yarn遇到的问题
Flink版本：flink-1.9.1下载地址：https://flink.apache.org/downloads.html我是分开部署的，部署了hadoop 3.1.2所以下载 两个文件Apache Flink 1.9.1 for Scala 2.12和Pre-bundled Hadoop 2.8.3（一个jar包）官方文档：https://ci.apache.org/...
2019-12-25 17:46:12
9788
6
原创 Hadoop物理机集群搭建（hdfs和yarn）版本：hadoop-3.1.2
官方文档：http://hadoop.apache.org/docs/r3.1.2/hadoop-project-dist/hadoop-common/ClusterSetup.html准备工作：1.需要先安装jdk82.四台机器ssh相互信任（教程：一会写）3.关闭防火墙或者四台机器ip都加到白名单服务器配置（4台）：172.29.1.155（用作NameNode和Res...
2019-12-25 16:19:28
4212
原创 spark 集群环境搭建
需要的环境：1.java1.82.hadoop-3.1.1（spark用到他的hdfs）3.zookeeper-3.4.11（spark自动转移master用）4.spark-2.3.1-bin-without-hadoop 三台服务器主机分别是host-01host-02host-03 关键配置：hadoophadoop/hadoop-3....
2018-08-15 17:33:40
352
原创 hadoop UnsupportedFileSystemException 问题
使用hdfs操作文件的时候遇到以下两个异常：1.java.io.IOException: No FileSystem for scheme: hdfs2.org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "file" 类似No FileSystem for scheme: h...
2018-08-15 10:50:57
7972
3
原创 Communications link failure 异常处理几种方式
1.网上普遍存在的一种方法是改timeout即：修改/etc/my.cnf添加wait_timeout = 31536000interactive_timeout = 31536000修改超时时间 dataSource.url添加autoReconnect=true&rewriteBatchedStatements=true 我用了还是出错 2.发...
2018-05-17 11:26:25
3448
原创 mariadb遇到Cannot change ownership of the database directories to the
修改了 /etc/my.cnf 将datadir改了，datadir=/data/mysql无法启动，报错：Mar 14 13:59:29 localhost.localdomain mariadb-prepare-db-dir[10433]: Cannot change ownership of the database directories to the 'mysql'Mar ...
2018-03-14 14:16:54
4305
原创 redis集群搭建，三台服务器，6个redis服务
三台服务器搭建redis集群安装redis1. 安装redis 下载redis-4.0.6.tar.gz2. 上传至/home路径，解压：tar –xvf redis-4.0.6.tar.gz3. 进入目录 cd /home/redis-4.0.64. 编译安装 make 会在/usr/local/bin/生成连接安装ruby环境1. 运行ruby –v查看ruby是否安装2. 若已安装但版...
2018-01-22 17:24:07
4909
spring boot使用 cache和redis，@Cacheable失效解决
先说一下如何配置spring boot+spring cache +redis pom.xml <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId&g...
2018-01-05 21:25:18
1129
原创 linux的“Connection refused”和 “No route to host”
使用telnet查看端口信息的时候出现问题：1.Connection refused是指端口开放了但是没有监听我设置kafka的时候出现的，内网ip通，外网不通出现以上信息，是因为我的kafka host（/etc/hosts）设置了内网的ip，kafka启动之后是内网ip在监听9092，外网ip不在监听导致的，更改host的ip为外网ip就可以了；2.No route t...
2017-11-09 18:09:02
1593
1
原创 有用网址
好用java库http://www.cnblogs.com/jcli/archive/2013/01/07/2844262.html java正则表达式http://blog.csdn.net/qiaqia609/article/details/11088101 使用httpclient必须知道的参数设置及代码写法、存在的风险http://blog.csdn....
2017-07-13 15:24:09
269
原创 ThreadLocal理解，原理
ThreadLocal是解决线程安全问题一个很好的思路，ThreadLocal类中有一个Map，用于存储每一个线程的变量副本，Map中元素的键为线程对象，而值对应线程的变量副本，由于Key值不可重复，每一个“线程对象”对应线程的“变量副本”，而到达了线程安全。我们知道Spring通过各种DAO模板类降低了开发者使用各种数据持久技术的难度。这些模板类都是线程安全的，也就是说，多个DAO可...
2017-07-07 16:11:54
157
原创 slf4j log4j配置 log4j过滤
slf4j log4j配置 1.需要的jar包：log4j-api-2.0-rc2.jarlog4j-core-2.0-rc2.jarlog4j-slf4j-impl-2.0.jarslf4j-api-1.6.4.jar 下载路径：http://mvnrepository.com/artifact/org.apache.logging.log4j 2.配...
2017-06-06 10:34:20
1291
原创 linux 安装Tesseract-OCR java运行
安装Tesseract-OCR准备工作:编译环境: gcc gcc-c++ make(这个环境一般机器都具备,可以忽略) 1yum install gcc gcc-c++ make 依赖的包: autoconf automake libtool libjpeg-devel libpng-devel libtiff-devel zlib-devel leptonica(1.67以上) 1. a...
2017-03-16 14:28:44
923
原创 $.ajax请求request.getInputStream()得不到数据问题
请求中添加参数contentType1.在不做任何修改的情况下，调用request.getParameter()可以获取到部分数据，即url拼接参数的数据。2.在不做任何修改的情况下，如果在之前任何地方都不调用request.getParameter()，而是直接调用request.getInputStream()是可以获取到数据的。3.原来客户端使用默认的请求头Content-T...
2017-03-06 17:34:22
1702
原创 springloaded热加载linux实现
1.下载springloaded-1.2.6.RELEASE.jar，放在/home/jar/路径下；2.在catalina.sh 中添加：若已存在JAVA_OPTS则在下面添加：JAVA_OPTS="$JAVA_OPTS -javaagent:/home/jar/springloaded-1.2.6.RELEASE.jar -noverify -Dspringloaded=verbo...
2017-03-02 17:47:33
310
1
原创 HttpClient Connection reset问题
请求头中的：postMethod.setRequestHeader(new Header("Content-Length", "227"));去掉（注释掉）。不设置Content-Length
2017-02-09 09:29:51
1123
原创 date类型的string转成date类型
String s = "Tue Jul 16 12:12:12 CST 2013"; SimpleDateFormat sdf = new SimpleDateFormat("EEE MMM dd HH:mm:ss zzz yyyy", Locale.ENGLISH); try { Date date = sdf.parse(s); String result = new Sim...
2016-12-14 15:04:42
284
httpclient3.1发送https 的post请求，带参
package com.dahantc.fcchannel.test;import java.io.IOException;import java.net.InetAddress;import java.net.InetSocketAddress;import java.net.Socket;import java.net.SocketAddress;import j...
2016-09-27 19:39:47
1337
原创 synchronized 与 Lock线程安全
原文出处：http://www.cnblogs.com/benshan/p/3551987.html最近在做一个监控系统，该系统主要包括对数据实时分析和存储两个部分，由于并发量比较高，所以不可避免的使用到了一些并发的知识。为了实现这些要求，后台使用一个队列作为缓存，对于请求只管往缓存里写数据。同时启动一个线程监听该队列，检测到数据，立即请求调度线程，对数据进行处理。 具体的使用方案就是使用...
2016-06-15 20:35:01
98
原创 hibernate orm配置一对多时，多方加一字段记录顺序
代码：一方：import java.util.List;public class Father { private Long id; List<Son> sons; public Long getId() { return id; } public void setId(Long id) { this.id = id; } p...
2016-04-01 20:07:49
150
原创 开发时，网页IE能打开，chrome、firefox无法打开问题
原因：部分端口被这些浏览器限制了FIREFOX测试自己网站的时候，浏览器提示：“此地址访问受限，此地址使用了一个通常应该用于其他网页浏览的端口。由于安全原因，Firefox 取消了该请求”。某些网站使用了非标准的端口，直接从Firefox方式时浏览器会提示“此地址访问受限，此地址使用了一个通常应该用于其他网页浏览的端口。由于安全原 因，Firefox 取消了该请求”。解决办法：FIREFOX...
2016-03-07 16:40:09
2714
1
原创 could not resolve placeholder ${}
用spring 配置加载properties文件的时候，报Could not resolve placeholder 错误。很有可能是使用了多个PropertyPlaceholderConfigurer或者多个的原因或者是多个PropertyPlaceholderConfigurer与混合使用。解决方案：在Spring3中可以用如下方式解决，找到所有[color=blue][/colo...
2016-03-07 11:28:17
579
原创 hibernate事务和jdbc事务冲突问题
Pre-bound JDBC Connection found! HibernateTransactionManager does not support running within DataSourceTransactionManager if told to manage the DataSource itself. It is recommended to use a single Hib...
2016-01-06 14:42:16
3740
原创 网卡受限制或无连接的解决办法
电脑杀毒后出现网卡受限制或无连接的状况。尝试过换网卡、网线都无效。 用Ipconfig/relase /renew参数得到的结果：无法加载或初始化请求的服务提供程序”。从Google搜到如此办法试了一下还成功了。在命令窗口下键入 netsh winsock reset 命令完成后提示重启，重启后网卡连接恢复正常。以下是搜索到的全文转载： 症状当您尝试使用 Ipconfig 程序...
2014-03-03 12:49:24
1269
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人