- 博客(7)
- 收藏
- 关注
RSS订阅
原创 GitHub上28k星12306购票项目部署
首先咱们部署的是12306抢票软件, 该项目地址:https://github.com/testerSunshine/12306一. 安装Linux系统在vmware中安装系统, 由于咱们的主要是部署12306项目 , 这里不多说, 尽快安装完成.这里我们安装的Linux版本是CentOS-7-x86_64-Minimal-1810.iso, 后面由于是使用docker的方式部署, 建议使用...
2020-02-14 23:06:28
2382
4
原创 在win系统中搭建一台虚拟机服务器,vmware远程连接
为什么有这个想法???大数据方面的学习, 需要我们搭建集群, 一般学习都是在vmware虚拟机中搭建集群, 在虚拟机中安装多台linux系统, 在集群中跑我们的作业任务. 那么在学习中, 由于多台虚拟机的搭建, 会消耗我们的大量的电脑内存, 会影响我们的其他的软件的使用, 比喻一台8g内存, win7系统, 如果在上面搭建一个4台linux系统的虚拟机, 再加上idea这种内存消耗大的软件, ...
2020-01-13 22:14:29
3131
原创 关于Flink，TaskManager日志问题的一个记录
疑问：不知道大家有和我一样，开发完的flink代码推送到flink集群上执行的时候log.info(xxxx)打印的日志不会打印到task-manager节点上去(在IDEA上执行可以打印日志到控制台上)，为此一直在困扰了，经过一系列的尝试，终于在java和scala中实现log.info(xxx)打印到task-manager节点上。scala中不支持使用lombok的方式，所以这里通过伴生对象的方式实现编译后的文件创建static final类型的Logger对象。
2022-12-14 15:07:34
1944
原创 ETL过程中的全量和增量同步
ETL过程中的全量和增量同步一. 数据的同步方式主要分为两种方式全量同步 对源数据进行全部抽取到目的源上，相当于将文件完全复制一份到目的地，该方式可以完全保证数据的一致性问题。增量同步 对源数据上次增量增量操作后的新增的数据进行同步的过程，比如，同步昨天的增量的数据，那么就只需将源数据中的昨天产生或变化的数据同步即可。由于需要将新增的数据同步到目的端，中间需要一些策略判断，多次同步后就难以保证源数据和目的数据的一致性。二. 两种同步方式的使用场景全量同步主要是对数据量少
2020-05-10 09:14:18
3312
原创 Linux免密登录
为什么需要设置免密登录?1.当我们在一台主机上登录到另一台主机上时, 使用ssh node13命令时, Linux会提示是否建立连接, 还需要输入密码. 还有各种各样的提示.2.当我们使用scp /path/filename node13:’/path’远程拷贝一个文件到另Linux主机上时, 也会让你输入各种密码, 是否连接的提示.3.当我们使用hbase, nginx, hadoop搭...
2020-01-08 21:04:44
372
原创 HashMap的一些自己的理解
HashMap的一些自己的理解HashMap是实现Map接口,底层是采用了哈希表(散列表)结构,既然说道了哈希表,那就说下哈希表的结构我们都知道, 数组的特点是占用空间连续, 查询效率高, 增删效率低;链表结构占用空间不连续, 查询效率低, 增删效率高, 我们能不能既查询效率高, 又增删效率也高呢? 为此我们就有了哈希表哈希表就是结合了数组和链表的优点, 增删查效率高的一种数据结构Has...
2019-10-26 11:02:14
110
原创 简述TreeMap底层原理
package com.wxx.controller;import com.wxx.pojo.Flights;import com.wxx.service.FlightsService;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.format.annotat...
2019-10-23 13:05:45
1184
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人