自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(9)
  • 资源 (2)
  • 收藏
  • 关注

原创 在idea上实现git rebase操作

git小技巧1、git rebase —onto把某个分支的某一段commit记录rebase到基点分支上2、idea中git rebase的各参数的含义C分支:当前分支(必须是分支)A分支:基点(可以是分支,也可以是commit节点)B分支:起点 (可以是分支,也可以是commit节点, 如果是commit节点,就找到当前分支最新commit跟这个起点commit节点之间所有的节点,rebase到基点上, 这个起点必须在当前分支上,如果不在,那么这个起点就没有意义了,...

2020-08-11 17:52:39 34357 3

原创 logrotate命令之minsize、maxsize、size的理解

logrotate命令logratet命令,主要用来切割日志。logrotate -v -s ./logrotate-status /etc/logrotate.d/demo # -v 输出命令执行过程中的详细信息 -s 指定输出每次rotate时的state文件路径。/etc/logrotate.d/demo是指定每次rotate日志时所用的配置文件,内容如下:/root/hellear_test/demo.txt {hourlycompresscopytruncateno.

2020-07-16 19:11:01 9904 2

原创 Git基础入门知识

Git的基础知识本博客主要参考了https://blog.csdn.net/qq_36150631/article/details/81038485,并加入了自己的一些理解。一、如何添加远程库与本地仓库关联现在的情景是:我们已经在本地创建了一个Git仓库后,又想在github创建一个Git仓库,并且希望这两个仓库进行远程同步,这样github的仓库可以作为备份,又可以其他人通过该仓库来...

2019-02-27 17:21:27 1113 1

原创 解决Cloudera-Manager搭建CDH集群时hue数据库连接失败问题(二)

这个问题最常见的现象就是如下:在查看${CM_HOME}/log/cloudera-scm-server/cloudera-scm-server.log日志文件时,给出如下错误:[21/Feb/2019 15:21:36 +0000] settings     DEBUG    DESKTOP_DB_TEST_NAME SET: /opt/cloudera/parcels/CDH-5....

2019-02-22 16:22:24 2395

原创 解决Cloudera-Manager搭建CDH集群时hue数据库连接失败问题

  通过查看$CM_HOME/log/cloudera-cm-server/cloudera-cm-server.log,发现hue数据库连接失败主要是由于缺少一个libmysqlclient.so.20这个库文件Traceback (most recent call last):  File "/opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p...

2019-02-20 14:38:51 4078 1

原创 使用ansible脚本搭建zookeeper集群和hadoop高可用集群

1、配置zookeeper# vi /etc/ansible/hosts[zk_servers]172.16.206.27 myid=1172.16.206.28 myid=2172.16.206.29 myid=3# vi vars/main.ymlserver1_hostname: hadoop27server2_hostname: hadoop28server3_hostn...

2019-01-28 15:40:38 983 1

原创 Hadoop完全高可用集群启动顺序

总结一下:完全高可用的hadoop集群主要包含两部分,HDFS的高可用,Yarn的高可用HDFS高可用启动顺序主要分为以下几步:第一步、启动所有journalNode进程,用来存之后namenode的元数据 第二步、格式化主namenode,并启动主namenode进程 第三步、将主namenode上的元数据信息复制到从的namenode所在节点 第四步、在主namenode上格式化...

2019-01-28 15:32:15 9662 1

原创 YAML基础语法(一)

1、yaml的基础语法:pip install pyyaml>>> import yaml>>> f = open("/home/hadoop/yaml/test.yml")>>> res = yaml.load(f)>>> print(res)案例一:---name:xiaoweiage: 20se

2019-01-15 09:12:28 1435

原创 Ansible 学习笔记(一)

1、ansible的基本命令格式    ansible <host-pattern> [options]    #host 必选项,表示Inventory文件中指定的主机或者主机组,可以为ip、hostname、Iventory中的group组名,还可以使用.*等通配符    #option可选项,常见可选项如下    -m name 或 --module=name :    ...

2019-01-15 09:11:21 970

SparkBench运行环境搭建

按照官方文档进行SparkBench系统环境配置的时候会出现几个错误,在这里一一解决

2017-07-15

Spark-Bench使用文档

SparkBench是为Spark量身定做的基准测试组件(集成了很多spark支持的经典测试案列)。 它大致包含四种不同类型的测试案例,包括机器学习,图形处理,流处理和SQL查询。

2017-07-14

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除