小小北漂

大数据开发

实用运维脚本

近期要做一些集群的维护工作,打算开发一些实用的脚本协助集群的管理: 1、实现多机操控和文件复制 实现基于sshpass模块的远程操作和批量复制,依赖前体要通过离线或者在线的方式在运行脚本的机器上安装sshpass命令(Python2和使用到的模块好像已经默认集成到centos系统中);还有集群...

2019-07-18 17:34:24

阅读数 2164

评论数 0

shell中export的作用和点空格运行脚本的意思

一直对shell中export 变量这个概念理解的模模糊糊,今天就来总结下。 在命令行中定义变量很简单,如下: [root@zhenglq ~]#VAR=zhenglq [root@zhenglq ~]#echo $VAR zhenglq 但是这么定义的变量只在该shell中有效,在其它she...

2019-07-05 11:34:27

阅读数 44

评论数 0

【Flink原理和应用】:分布式快照算法—— Chandy-Lamport 算法

引言 Spark 的 Structured Streaming 的 Continuous Processing Mode 的容错处理使用了分布式快照(Distributed Snapshot)算法 Chandy-Lamport 算法,那么分布式快照算法可以用来解决什么问题呢? A snaps...

2019-06-30 18:36:06

阅读数 68

评论数 0

Lombok插件的安装与使用

1)lombok介绍 lombok能够极大的简化消除我们写的代码,使用注解的方式省略get set toString….等方法,使得代码看起来更加的美观。lombok是在编译时候生成对应的方法的,所以在性能上面大家完全不用担心,是与我们写上get set方法是一样的。它自带了这些标签 lom...

2019-06-24 15:24:59

阅读数 63

评论数 0

IntelliJ IDEA个人常用设置

1设置主题 下载地址:http://www.easycolor.cc/intelliJidea/list.html 配置方法:File - >Import Seting.. 导入主题重启即可 修改主题:File->Settings->Editor...

2019-06-21 15:26:01

阅读数 38

评论数 0

CentOS 7镜像下载

官网下载链接:http://isoredirect.centos.org/centos/7/isos/x86_64/ step1: 进入下载页,选择阿里云站点进行下载 Actual Country 国内资源 Nearby Countries 周边国家资源 阿里云站点:http://mirro...

2019-06-16 01:28:35

阅读数 179

评论数 0

java基于函数作为参数的文本工具类

日常开发中经常碰到一些需要对文件处理的需求。一般有可能是过滤、解析里边指定字段然后存储在指定的集合结构中;又或者是对每行数据做一些操作。这些东西常常是大同小异。因此尝试封装了一个简单的工具类,用于减少重复代码,只写自己的业务逻辑。 import org.apache.commons.lang3...

2019-05-21 16:10:26

阅读数 30

评论数 0

JAVA 中BIO,NIO,AIO的理解

在高性能的IO体系设计中,有几个名词概念常常会使我们感到迷惑不解。具体如下: 序号 问题 1 什么是同步? 2 什么是异步? 3 什么是阻塞? 4 什么是非阻塞? 5 什么是同步阻塞? 6 什么是同步非阻塞? 7 什么是...

2019-05-20 16:42:53

阅读数 28

评论数 0

Java并发之线程池ThreadPoolExecutor源码分析学习

线程池学习 以下所有内容以及源码分析都是基于JDK1.8的,请知悉。 我写博客就真的比较没有顺序了,这可能跟我的学习方式有关,我自己也觉得这样挺不好的,但是没办法说服自己去改变,所以也只能这样想到什么学什么了。 ​ 池化技术真的是一门在我看来非常牛逼的技术,因为它做到了在有限资源内实现了...

2019-05-15 22:01:37

阅读数 19

评论数 0

Java NIO?看这一篇就够了!

现在使用NIO的场景越来越多,很多网上的技术框架或多或少的使用NIO技术,譬如Tomcat,Jetty。学习和掌握NIO技术已经不是一个JAVA攻城狮的加分技能,而是一个必备技能。在前面2篇文章《什么是Zero-Copy?》和《NIO相关基础篇》中我们学习了NIO的相关理论知识,而在本篇中我们一起...

2019-05-12 21:03:17

阅读数 158

评论数 0

各种编码问题汇总(持续更新)

1.ubuntu vim 中文乱码 在当前用户的home路径中.vimrc中添加以下内容: syntax on (这句话一定要添加,括号里面的不要添加进去) set encoding=utf-8 fileencodings=utf-8 2.Python3编码问题 1.UnicodeEnc...

2019-04-23 18:33:40

阅读数 43

评论数 0

centos7 shell常用操作

1.设置密码永不过期 查看密码有效期:chage -l 用户名 设置密码永不过期:chage -M 99999 用户名 2.设置防火墙 查看防火墙状态:systemctl status firewalld.service 关闭防火墙:systemctl stop firew...

2019-04-21 16:37:39

阅读数 61

评论数 0

Centos7上安装docker

Docker从1.13版本之后采用时间线的方式作为版本号,分为社区版CE和企业版EE。 社区版是免费提供给个人开发者和小型团体使用的,企业版会提供额外的收费服务,比如经过官方测试认证过的基础设施、容器、插件等。 社区版按照stable和edge两种方式发布,每个季度更新stable版本,如17...

2019-04-19 11:37:59

阅读数 34

评论数 0

VMware虚拟机中CentOS 7的硬盘空间扩容

1.查看centos7系统挂载点信息 df -h查看挂载点信息 2.扩展VMWare-centos7硬盘空间 关闭Vmware的centos7系统,才能在VMWare菜单中设置需要增加到的磁盘大小 如果这个选项是灰色的,说明此虚拟机建有快照,把快照全部删除再试试! 3...

2019-04-18 22:17:26

阅读数 24

评论数 0

hbase之布隆过滤器

一、布隆过滤器 布隆过滤器(Bloom Filter)是1970由布隆提出的。通过一个很长的二进制向量于一系列随即哈希函数生成。下面我就将通过以下小节来介绍布隆过滤器: 1、原因与结构解析 2、数学公式 1.1 原因与结构解析 首先,我们应当知道,hash是内存中使用的经典数据结构。 当我...

2019-04-13 21:07:30

阅读数 87

评论数 0

解决ModuleNotFoundError: No module named '_bz2'

在centos中运行某些程序会报错如下图所示: File "/usr/local/lib/python3.6.5/lib/python3.6/bz2.py", line 23, in <module> from _bz2 import...

2019-04-10 10:40:53

阅读数 301

评论数 1

DataFrame、Dataset、RDD的区别与联系及相互之间的转换

文章出处:https://blog.csdn.net/fct2001140269/article/details/82560862

2019-04-03 17:34:45

阅读数 45

评论数 0

Linux下Redis的安装和部署

一、Redis介绍 Redis是当前比较热门的NOSQL系统之一,它是一个key-value存储系统。和Memcache类似,但很大程度补偿了Memcache的不足,它支持存储的value类型相对更多,包括string、list、set、zset和hash。这些数据类型都支持push/pop、a...

2019-03-28 17:23:09

阅读数 56

评论数 0

java单例模式几种实现方式

单例模式的五种实现方式 1、饿汉式(线程安全,调用效率高,但是不能延时加载): 1 2 3 4 5 6 7 publicclassImageLoader{ privatestaticImageLoader i...

2019-03-25 14:29:54

阅读数 130

评论数 0

Centos7上安装docker

Docker从1.13版本之后采用时间线的方式作为版本号,分为社区版CE和企业版EE。 社区版是免费提供给个人开发者和小型团体使用的,企业版会提供额外的收费服务,比如经过官方测试认证过的基础设施、容器、插件等。 社区版按照stable和edge两种方式发布,每个季度更新stable版本,如17...

2019-03-22 16:36:31

阅读数 47

评论数 0

提示
确定要删除当前文章?
取消 删除