- 博客(21)
- 收藏
- 关注
RSS订阅转载 Linux环境下Java安装 2021
1、环境信息虚拟机环境 系统版本： cat /etc/redhat-releaseCentOS 7.4自带java版本： java -versionOpenJDK 1.8删除系统自带的OpenJDK: rpm -qa|grep openjdk -1删除以上四个软件:rpm -e --nodeps java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64rpm -e --nodeps java-1.7.0-openjdk-1.7.0.141-2.6.10
2021-07-14 10:48:46
799
原创 CDH6.2平台离线安装指南（完全版）
一、平台概述CDH，全称Cloudera's Distribution, including Apache Hadoop。是Hadoop众多分支中对应中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，提供了Hadoop的核心（可扩展存储、分布式计算），最为重要的是提供基于web的用户界面。CDH的优点：版本划分清晰，更新速度快，支持Kerberos安全认证，支持多种安装方式（如Yum、rpm等）。CDH分为Cloudera Manager管理平台和CDH parcel（p
2021-03-02 14:20:38
3758
3
转载 Linux集群免密登录
1.关闭防火墙每个机器执行以下命令（root用户执行）systemctl stop firewalld #暂时关闭防火墙systemctl disable firewalld #永久关闭防火墙systemctl status firewalld #查看防火状态2.机器关闭selinux什么是SELinuxSELinux是Linux的一种安全子系统 Linux中的权限管理是针对于文件的, 而不是针对进程的, 也就是说,如果root启动了某个进程, 则这个进程可以操作任何一个文件 S
2020-12-09 10:43:36
249
原创 idea设置Java类注释和方法注释模板（javadoc规范）
1、类注释模板设置File–>settings–>Editor–>File and Code Templates–>Files添加模板：简版：/** * [一句话描述该类的功能] * @author : [${USER}] * @version : [v1.0] * @createTime : [${DATE} ${TIME}] */复杂点的：/** * @description : [一句话描述该类的功能]
2020-12-01 15:23:53
10732
2
原创 oozie工作流Hive表插入中文乱码解决
在oozie中调用hql脚本插入数据，发现插入中文时会发生乱码。如：insert into test.ods_stu_test_rw_1030 values(103,‘大仁哥’,‘1900-01-01’, ‘男’);解决方法：在配置调度时,添加配置:key: yarn.app.mapreduce.am.admin-command-optsvalue: -Dfile.encoding=UTF-8配置添加方法：再次运行工作流，正常插入中文。...
2020-10-30 10:58:44
729
1
原创 redis6安装指南-linux环境（附gcc7.1离线升级）
项目需要使用redis6，以为很简单的事情，结果花了大半天才装好，对出现的问题和解决方法做个记录，把经验分享给大家。一、下载redis6最新版本当然要去官网啦 https://redis.io/现在是2020年6月，最新版本是6.0.5，还很新鲜，快来！二、第一次尝试安装上传到服务器，解压，放到一个临时目录就可以按说明安装只需要两步makemake installtar -xf redis-6.0.5.tar.gzcd redis-6.0.5/make真这么简单？天真。咔 redi
2020-06-20 19:50:36
2474
2
原创 Oracle错误【ORA-00054: 资源正忙, 但指定以 NOWAIT 方式获取资源, 或者超时失效】 解决
修改oracle表字段遇到这个错误：在行: 13 上开始执行命令时出错 -alter table ADS_IOT_PM_GSMCELL_H modify ( SERV_TRANS_RATE NUMBER(20,4))错误报告 -ORA-00054: 资源正忙, 但指定以 NOWAIT 方式获取资源, 或者超时失效00054. 00000 - "resource busy and acq...
2020-05-01 16:03:44
1167
原创 Redis数据过期策略浅析
1.设置Redis中键的过期时间的命令可通过EXPIRE 命令设置键的过期时间redis 127.0.0.1:6379> EXPIRE runooobkey 60(integer) 1通过PERSIST可以清除过期时间redis 127.0.0.1:6379> PERSIST runooobkey(integer) 1查询过期时间redis 127.0.0.1:63...
2020-04-26 16:32:55
578
原创 企业内部知识共享平台的好处-以Confluence为例
最近工作中遇到的几件事情让我感觉到建设企业内部知识共享平台的重要作用。如果我对项目中某个模块并不十分了解，或自己的项目中牵扯到别人做的项目，只能先去问是谁做的，然后联系他，他可能了解你的问题，也可能不了解，于是推荐你找另一个人，然后另一个人可能在忙，就没空理你，这个沟通成本是很高的。也许就会浪费半天的时间。如果有内部知识共享平台，情况就不一样了。如果我又遇到了相似问题，我可以先去他的项目空间...
2020-03-21 17:48:53
4005
原创 Java实现Redis批量读取List
当我们使用Redis队列进行大量数据存取时，RPUSH可以实现一次存入多条数据，而逐条LPOP性能往往不尽如人意。这时就需要批量读取List中的数据再进行处理，减少redis读写次数。幸好redis提供了lrange方法，可以实现list的批量读取。Java代码如下： public static void main(String[] args) { Jedis jedis...
2020-03-19 11:39:15
8270
1
原创 《卓有成效的管理者》读书笔记
彼得·德鲁克是当代著名的管理学大师，被称为现代管理学之父，其思想几乎涉及了管理学的方方面面。 他的主要思想： 1.管理者必须要卓有成效，在企业中效率很重要，但是效能最重要，做对一件事比对一件错两件更好。 2.管理者最重要的能力就是用人能力，吸引那些既有能力又有热情的人，利用好他们的优势。 3.适应变化。走出舒适圈。学习能力就是核心竞争力。 4.抓大放小，着眼全局。授权，分责。 5.不...
2020-03-18 16:49:50
308
原创 flink通过分布式缓存加载配置文件
Flink分布式缓存是类似于hadoop的分布式文件，可以在启动时将指定的文件分发到各个工作节点的临时目录。注意，此分发过程仅会在作业启动时执行一次，所以无法动态更改。缓存的工作机制如下：程序注册一个文件或者目录(本地或者远程文件系统，例如hdfs或者s3)，通过ExecutionEnvironment注册缓存文件并为它起一个名称。当程序执行，Flink自动将文件或者目录复制到所有worker节...
2020-03-17 18:49:55
2082
原创 ansible运维工具极简入门
ansible是一款简单易用的快速运维工具。它通过SSH协议实现，可以用来进行集群部署和运维调整。结合本人使用情况总结一下它的常用命令：安装：yum -y install ansibleansible --version创建好一个集群host列表文件，命名为hosts，文件格式如下（已配置免密）stream01stream02stream03然后就可以使用ansible进行集...
2020-03-17 16:48:29
393
转载 软件设计模式之创建型模式
创建型模式的主要关注点是“怎样创建对象？”，它的主要特点是“将对象的创建与使用分离”。这样可以降低系统的耦合度，使用者不需要关注对象的创建细节，对象的创建由相关的工厂来完成。创建型模式分为以下几种。单例（Singleton）模式，原型（Prototype）模式，工厂方法（FactoryMethod）模式，抽象工厂（AbstractFactory）模式，建造者（Builder）模式。
2019-11-05 17:34:10
567
转载 面向对象设计原则
在软件开发中，为了提高软件系统的可维护性和可复用性，增加软件的可扩展性和灵活性，程序员要尽量根据 7 条原则来开发程序，从而提高软件开发效率、节约软件开发成本和维护成本。我将在下文中依次来介绍这 7 条原则。一、开闭原则开闭原则（Open Closed Principle，OCP）由勃兰特·梅耶（Bertrand Meyer）提出，他在 1988 年的著作《面向对象软件构造》（Object O...
2019-11-04 21:02:07
135
原创 Redis错误：ERR handle response, backend conn failure, bad array len, too long 解决方法
使用Redis中遇到错误：[ERROR] (DimUtil.java:446) 根据业务时间获取Codis中保存的spIp列表出错，原因：ERR handle response, backend conn failure, bad array len, too long 2019-10-18 14:25:36,422 redis.clients.jedis.exceptions.JedisD...
2019-10-19 09:20:21
2542
转载 Java中HashMap的实现原理
一、Java中的hashCode和equals1、关于hashCodehashCode的存在主要是用于查找的快捷性，如Hashtable，HashMap等，hashCode是用来在散列存储结构中确定对象的存储地址的如果两个对象相同，就是适用于equals(java.lang.Object) 方法，那么这两个对象的hashCode一定要相同如果对象的equals方法被重写，那么对象的hash...
2019-02-01 13:48:31
730
转载 【转】R、Python、Java、Scala几种语言的比较
转自：https://baijiahao.baidu.com/s?id=1577776089434181697&wfr=spider&for=pc数据科学，一个想想就令人激动的领域，通过不一样的智慧将最优美的统计知识与编程能力结合起来，一个1+1>2 的领域，并且今年来所有的发展都预示着数据科学的辉煌之日已经来临，不管是大数据，人工智能，深度学习还是数据分析，都离不开数据...
2019-01-13 23:31:08
3763
转载 Spark Streaming开发入门——WordCount（Java&Scala）
https://blog.csdn.net/lxhandlbb/article/details/51211631一、Java方式开发1、开发前准备假定您以搭建好了Spark集群。2、开发环境采用eclipse maven工程，需要添加Spark Streaming依赖。<dependency> <groupId>org.apache.spark...
2019-01-13 23:07:35
413
转载 [转]三种流处理框架比较：Storm，Spark和Flink
storm、spark streaming、flink都是开源的分布式系统，具有低延迟、可扩展和容错性诸多优点，允许你在运行数据流代码时，将任务分配到一系列具有容错能力的计算机上并行运行,都提供了简单的API来简化底层实现的复杂程度。Apache Storm在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（ma...
2019-01-12 12:06:23
7287
原创 重新开始写博客
个人简介@rw88123重新开始写博客一些背景作为IT从业人员，没有自己的技术博客似乎已经等同于说“我只是个底层码农”。为了摆脱这种低端的人设，决定重新开始写博客。为啥是重新写呢？因为原来写过的博客账号密码忘了，绑定的手机都换了。其实我更喜欢用有道云笔记。因为博客的编辑器并不好用，还总要去考虑排版、美观性。不过，基于数据安全的考虑，多写份知识积累的东西也是极好的。全新的界面设计 ...
2019-01-06 11:20:26
953
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人