linux
文章平均质量分 72
董可伦
博主曾获2014年全国数学建模竞赛国家一等奖;有八年大数据经验,大数据领域专家、CSDN博客专家。Apache Hudi Active Contributor,喜欢开源,擅长并乐于分享Flink、Hudi、Spark等大数据领域的技术
展开
-
Linux 安裝 rpm包
Linux 安裝 rpm包。原创 2024-05-10 09:43:04 · 250 阅读 · 0 评论 -
集群管理命令总结
clush和pssh,这俩命令都可以在多台服务器上并发执行相同命令,其中个人比较推荐clush,因为感觉clush比较好用,本文来总结一下clush和pssh的安装配置和使用。clush和pssh的安装和使用方式,给出部分使用示例,并记录了 Python2 和 Python3 分别遇到的问题以及解决过程。原创 2024-04-15 07:00:00 · 1630 阅读 · 0 评论 -
Linux 批量添加 known_hosts
我们在做完linux ssh 免密登录后,通常会执行一些自动化任务(比如启动Spark集群),也就是需要ssh到每台节点执行相同命令。但是有一个问题就是如果 known_hosts 文件中不存在这个ip的话,在第一次连接时会弹出确认公钥的提示,需要手动输入 yes,才能继续往下进行。输入yes 后会将公钥添加到 .ssh/known_hosts 中,下次连接时就不需要再次确认了。但是如果节点比较多的话,假如有100个节点,那么我们需要手动输入100次 yes 比较麻烦。原创 2024-01-17 09:05:35 · 2088 阅读 · 0 评论 -
Linux 安装 oh-my-zsh
我的原创地址:https://dongkelun.com/2018/12/29/linux-oh-my-zsh/前言之前在大三实习的时候,用的纯Linux(Ubuntu)开发,然后Linux上装了oh-my-zsh。优点:1、界面比默认的好看一些2、敲命令是提示、自动补全、搜索等比较方便好用Zsh和bash一样,是一种Unix shell,但大多数Linux发行版本都默认使用bash...原创 2019-02-20 15:22:15 · 1422 阅读 · 0 评论 -
如何解决spark开发中遇到需要去掉文件前几行数据的问题
我碰到的问题是这样的,我需要读取压缩文件里的数据存到hive表里,压缩文件解压之后是一个txt,这个txt里前几行的数据是垃圾数据,而这个txt文件太大,txt是直接打不开的,所以不能手动打开删除前几行数据,而这个文件是业务人员从别人那拿到的所以也不能改,本文就是讲如何解决这个问题。...原创 2018-06-02 18:05:09 · 6925 阅读 · 0 评论 -
network is unreachable centos无法连接外网(或unknown host baidu.com)
转载请务必注明原创地址为:http://dongkelun.com/2018/01/17/networkIsUnreachable/前言在虚拟机上新装的系统设置固定ip、重启系统之后,可能ping不通外网,出现如标题所示错误。1、执行以下命令即可(临时添加网关)sudo route add default gw 192.168.44.22、永久性修改网关...原创 2018-05-08 14:02:12 · 1104 阅读 · 0 评论 -
vmware centos7 设置固定ip
转载请务必注明原创地址为:http://dongkelun.com/2018/01/16/vmwareSetFixIP/1、首先设置虚拟机网络连接为NAT模式 2、修改配置文件,设置固定IP2.1、执行一下命令cd /etc/sysconfig/network-scriptsvim ifcfg-eno167777362.2、修改后结果如下HWAD...原创 2018-05-08 13:47:34 · 830 阅读 · 0 评论 -
centos7 ambari2.6.1.5+hdp2.6.4.0 大数据集群安装部署
转载请务必注明原创地址为:http://dongkelun.com/2018/04/25/ambariConf/前言本文是讲如何在centos7(64位) 安装ambari+hdp,如果在装有原生hadoop等集群的机器上安装,需要先将集群服务停掉,然后将不需要的环境变量注释掉即可,如果不注释掉,后面虽然可以安装成功,但是在启动某些服务的时候可能会有异常,比如最后提到的hive启动异常...原创 2018-05-08 09:23:16 · 6018 阅读 · 1 评论 -
CentOS 初始环境配置
转载请务必注明原创地址为:http://dongkelun.com/2018/04/05/centosInitialConf/前言这个是在大三实习的时候记录在印象笔记里的,当时学长给我的,现在稍加改动一下,记录在这里。 若刚装完系统ping不通外网,如baidu.com,请参考:http://dongkelun.com/2018/01/17/networkIsUnreachable/...原创 2018-05-07 22:27:57 · 639 阅读 · 0 评论 -
linux ssh 免密登录
转载请务必注明原创地址为:http://dongkelun.com/2018/04/05/sshConf/ 以下用三台centos为例,ip分别为192.168.44.138、192.168.44.139、192.168.44.140,分别对应别名master、slave1、slave21、首先在每个机器上执行ssh-keygen -t rsa一直按回车默认就好 2...原创 2018-05-07 22:24:27 · 372 阅读 · 0 评论 -
centos7 安装oracle11
转载请务必注明原创地址为:http://dongkelun.com/2018/05/05/oracleConf/前言由于需要学习配置oracle goldengate(ogg),奈何没有oracle环境,所以想自己装一个oracle,搜了一下相关文档,跟着安装了一下,发现oracle安装比mysql安装麻烦多了,而且出现了很多博客上没有提到的错误,所以特此记录一下~1、下载下载...原创 2018-05-08 21:14:10 · 3067 阅读 · 1 评论 -
Redis Cluster 安装配置
转载请务必注明原创地址为:http://dongkelun.com/2018/01/09/redisClusterDeployment/服务器CentOS Centos 服务器初始环境配置最好先配置好,服务器时间最好配置为一致 我用的是6个服务器,一个服务器一个端口,便于配置文件的修改首先下载redis3 到本地(需要3以后的版本,我下载的最新的版本:3.0.4)wge...原创 2018-05-08 21:11:51 · 782 阅读 · 0 评论