Rudolf__的博客

java操作mongo，比较详细，适用生产环境

git将某个分支的代码提交到其他分支

mysql 字符串字段分区案例

springcloud stream配置和使用

该篇文章内容较多，包括有rabbitMq相关的一些简单理论介绍，provider消息推送实例，consumer消息消费实例，Direct、Topic、Fanout的使用，消息回调、手动确认等。 （但是关于rabbitMq的安装，就不介绍了）�0�2在安装完rabbitMq后，输入http://ip:15672/�0�2，是可以看到一个简单后台管理界面的。在这个界面里面我们可以做些什么？可以手动创建虚拟host，创建用户，分配权限，创建交换机，创建队列等等，还有查看队列消息，消费效率，推送效率等等。

背景：1.业务和业务数据量不断增加，需要用到hadoop进行数据分析和存储，现在将mysql数据到到hive，每个mysql表结构都差不多，现在以order_node为例，它的字段类型有bigint,varchar,int,tinyint(1),tinyint(4),datetime,decimal(18,6);2.mysql表有300多张，30多张表数据量超过1000万，有5个表数据量已经过亿;3.hdfs副本数为3，为了节省存储空间，需要用parquet存储，snappy压缩,parquet+sn

1.我要将mysql的数据迁移到hdfs，使用etl工具Kettle2.在迁移过程中首先启动hadoop和hivehadoop启动start-all.sh，通过方位webui查看相关服务是否启动正常hive启动hive --service metastore &;hive --service hiveserver2 &;查看端口10000是否启动成功，netstat -alnp|grep 10000;3.在kettle写入的步骤报错Error setting value #124

环境前提：cdh安装了hdfs/hive/yarn/zk/impala/kudu,所以集群都启动，且各个服务web-ui都可以访问，kudu-master-ui找不到tservers，端口都启动正确，用netstat -anlp|grep 端口1.impala不能插入数据，unable to find SASL plugin: PLAIN 主要是确实依赖， yum install gcc python-devel yum install cyrus-sasl*2.不能创建kudu表，...

对比出问题的虚拟机目录下的文件与正常虚拟机目录下的文件有什么不同，一般会多出一个文件centos7module这个文件名是我虚拟机解压前的名字（我的虚拟机做好后，做成压缩包，可以放到网上，下次用时，直接下载解压，想要几个就复制几份，非常方便）...

1.创建有dt的普通表homs.oms_order_tmpCREATE TABLE homs.oms_order_tmp(id int,order_id bigint,order_name string,custom string,created_time string,created_by date,updated_time string,updated_by string,status tinyint,day string) COMMENT ‘订单临时表’ STORED As textfile;问题

springboot是一个scala编写的rest接口交互，scala的连接是akka1.503 service unbelievable解：akka-http-core设置request-timeout = 20 s，太短了。httpclient虽然设置6分钟，时间到了。那边服务不可用2.Connection reset:连接重试，httpclient本来设置超时是6分钟，每次到一分钟左右就出现这个问题 原因：在 akka-http-core里面,linger-timeout = 1 min,一

1.启动时执行@Componentpublic class InitConfig implements CommandLineRunner { private static final Logger log = LoggerFactory.getLogger(InitConfig.class); @Value("${hive.datasource.druid.driver-class-name}") public String driver; @Value("${in

Maven 构建失败--was cached in the local repository, resolution will not be reattempted until the updatemaven ‘parent.relativePath’ points at wrong local项目版本升级后，所有maven已经install的模块已经消失了，在maven操作parent pom时，relativePath找不到，一直报错，我们操作module pom时，它要依赖parentpom，所

1.改进版，以dto对象来封装 private static void addPath(ProjectTreeDTO root, String path, List<ProjectTablesDTO> tables) { StringBuilder url = new StringBuilder(); String[] pathArr = path.split("/"); for (String label : pathArr) { url.appe

0. jvm垃圾回收的基本概念 0.1 什么是垃圾，主要是堆，堆是完全二叉树结构 引用计数法 可达性分析，解决引用计数法循环依赖问题 0.2常用垃圾回收算法 基本策略 标记清除 标记复制（年轻代8：1：1） 标记整理（年老代） 分代收集 ...

DATAPLATFORM_HOME=xxx exist=sed -n '/luo-watchdog/'p /etc/rc.d/rc.localif [ -n “$exist” ]; thenecho “clear the history command”su - root -c “sed -i ‘/luo-watchdog.sh/d’ /etc/rc.d/rc.local”ficom...

版本检查，centos7及以上，看看CentOS7能上外网yum -y install gccyum -y install gcc-c++删除旧版本yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ ...

1.废话不多说，直接上一段上传的代码@GetMapping(value = "/api/file/downloadFile")@ResponseBodypublic void getUrlDownload(String url, HttpServletResponse response) { File file = new File(url); // 后缀名 //判...

1.网站都是说root用户的问题，我这个不是root用户2.检查密码，检查ssh启动，检查虚拟网卡配置，重装ssh，各种尝试都不行，搞了两天3.我的宿主机是在一个局域网内，里面有很多其他的ip正在使用，说起来我用nat模式，我的虚拟机ip跟本机局域网内ip相同都没有关系，一直以为这是个无可反驳的观点，可是最终检查出来是这个问题，***修改虚拟机ip（局域网内没有使用的ip，也就是ping不通的...

1.驱动错误，我用的是mysql8.0，驱动改为com.mysql.cj.jdbc.Driver换驱动包2. 又报错 com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failureThe last packet sent successfully to the server was...