自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

勤能补拙

Linux 大数据运维 python 学习

  • 博客(18)
  • 资源 (7)
  • 收藏
  • 关注

转载 Linux centOS 硬盘分区挂载

文章转载自:http://linux008.blog.51cto.com/2837805/5487111、什么是分区?    分区是将一个硬盘驱动器分成若干个逻辑驱动器,分区是把硬盘连续的区块当做一个独立的磁硬使用。分区表是一个硬盘分区的索引,分区的信息都会写进分区表。2、为什么要有多个分区?防止数据丢失:如果系统只有一个分区,那么这个分区损坏,用户将会丢失所的

2017-06-29 11:56:55 369

原创 Kerberos:cannot get master principle

The server encountered an internal error that prevented it from fulfilling this request问题背景: 集群新增节点,添加datanode、hawq segment、pxf服务后,原先连接Hbase在hawq 外表报错“获取不到master principle 舍弃中……”、“The server encount

2017-06-27 11:45:40 1106

原创 HDFS文件导出本地合并为一个文件

HDFS受限于Block大小,大文件会分割成多个块分布在多个节点,导出本地的时候直接用:hadoop fs -get 命令会在本地创建一个目录存放多个块。要想合并为一个大文件可以这样:hadoop fs -getmerge hdfs:///user/nixm/news_rank1.txt /nixm/gcy/out1.txt

2017-06-27 11:21:20 4736

转载 Hadoop集群的kerberos认证

文章转载自http://www.cnblogs.com/easycloud/p/3724437.html 转载主要用于个人学习备查。环境:OS 版本: Centos6.4Kerberos版本: krb5-1.10.3环境配置机器名Ip地址功能安装模块ganglia.localdomain192.168.124.140Kerberos serverkrb5-libskrb5-serverkrb5-w

2017-06-26 16:28:08 5274

原创 升级Python2.7后 no module name yum

从Python2.6.6升级到python2.7.5后导致Yum不可用。 原因是yum 命令,是调用的 /usr/bin/yum 脚本文件, 需要修改为 /usr/bin/python2.6.6 保存退出,成功解决。另外可能还会引起其他的问题,解决的思路就是根据报错的指向,去指定位置修改下文件。

2017-06-22 20:17:21 1248

转载 CentOS6离线升级CentOS7

‘利用本地centos7镜像升级centos6.7’需求背景:服务器上安装的都是centos6.7,新部署的服务需要在centos7下,要么跑到机房重装系统,要么找离线解决方案,升级系统。 解决方案:之前有过离线升级小本版,从centos7.0升级内核到7.2,照着原来的思路挂载本地镜像,新建本地repo源,尝试yum update 执行了很久,没有看到明显的异常就失败了,上网搜了一下解决方案,基

2017-06-22 20:09:50 10232 2

原创 linux修改hostname

1、临时修改,重启失效 hostname yourhostname 2、永久生效 vi /proc/sys/kernel/hostname change to your hostnam

2017-06-20 10:21:35 498

原创 Ambari安装client报错OSError:[Error 17] File exists

Ambari为集群新增扩容过程中,有一个节点安装多个client报错Traceback (most recent call last): File "/var/lib/ambari-agent/cache/stacks/HDP/2.0.6/hooks/after-INSTALL/scripts/hook.py", line 37, in <module> AfterInstallHook

2017-06-19 21:43:10 1903

原创 PXF webapp is inaccessible but tomcat is up

生产环境新增几个节点,安装pxf后,启动时报错stderr: Traceback (most recent call last): File "/var/lib/ambari-agent/cache/common-services/PXF/3.0.0/package/scripts/pxf.py", line 120, in <module> Pxf().execute() Fil

2017-06-19 21:32:47 846

原创 从FTP拷贝文件报错无法从指定的位置下载

报错是因为IE安全选项设置禁用了文件下载

2017-06-12 14:25:10 2332

原创 删除注册表报错“无法删除所有指定的值”

更改文件的所以者及权限。 如删除RCM 右键“权限”—》“高级”—-》更改所有者,权限改为完全控制即可。

2017-06-12 14:22:27 28141 3

原创 windows server 2012 R2 standard 评估版过期重启

安装的windows server 2012 standard eval评估版,安装完成后有10天的激活时间,过期后,每隔一个小时自动关机。 解决方法:将评估版转成正式版后,再通过KMS激活。将评估版转成standard正式版的方法:(1)以管理员权限运行cmd,输入 DISM /online /Get-CurrentEdition (这一步:查看当前系统版本)我的版本信息显示如下:部

2017-06-12 14:14:56 8935

原创 mysql连接超时timeout问题

mysql默认连接超时时间为8小时,需要设置长一些第一种方式直接改my.cnfvi /etc/my.cnf[mysqld]wait_timeout=31536000interactive_timeout=31536000需要重启mysql service mysqld restart第二种方式,更改变量,不需重启mysqlmsyql> show global variables like '%

2017-06-06 10:48:27 1579

原创 vi或vim查找替换

1、查找命令模式下 输入向下查找 :/ 向上查找 :? 比如要查找带有DNS的:/DNS 回车即可。 2、替换:s/vivian/sky/ 替换当前行第一个 vivian 为 sky :s/vivian/sky/g 替换当前行所有 vivian 为 sky :n,$s/vivian/sky/ 替换第 n 行开始到最后一行中每一行的第一个 vivian 为 sky

2017-06-06 10:31:06 409

原创 SVN数据代码迁移Windows2012ServerR2

场景描述:服务器迁移,需要把SVN服务从主机A迁移到主机B 环境:两台服务器都是windows-server-2012R2· 目录:A、B目录及结构相同 SVN-Server_Home: C:\Program Files\VisualSVN Server\bin Repositories_HOME:D:\Repositories第一次: 使用VisualSVN Serv

2017-06-06 10:11:53 788

原创 windows-server-2012R2离线中文语言包安装

1、离线包下载地址http://download.csdn.net/detail/github_38358734/9858412 2、安装方法: 解压离线包 Dism /online /Add-Package /PackagePath:C:\test\LangPacks\lp.cab大概10分钟,完成。然后重启电脑,到控制面板语言区域选项,打开前面步骤里 中文的options,可以看到: 3

2017-06-02 11:19:03 10630

原创 ssh登陆慢/xhell访问主机慢

主要是DNS验证导致访问慢 1、vi /etc/ssh/sshd_config 2、修改UseDNS 为No 3、重启ssh服务

2017-06-02 10:06:50 721

原创 pip install mysqlclient报错fails with EnvironmentError: mysql_config not found

解决: CentOS yum install mysql-devel 再重新执行pip install mysqlclient解决

2017-06-01 11:46:35 1728

Jenkins持续集成文档

jenkins持续集成部署文档,打通开发、部署,缩短软件开发、部署上线的流程。

2018-07-10

hbase基于快照的数据迁移

hbase基于快照的数据迁移,hbase提供的数据迁移方案。

2018-07-10

hadoop、storm、spark的区别对比

概括性、总结性的对比Mapreduce、spark、storm,三者的特点,区别对比。

2018-07-10

快速移除ambari和hadoop脚本

通过ambari安装hadoop及组件有时候会失败,卸载清除非常麻烦,通过此脚本可以快速实现用户删除,目录删除,组件卸载,非常好用。

2018-07-10

Redis集群监控软件,方便部署,全方位监控

可以通过此工具实现Redis集群的完美监控,实时查看节点内存使用情况,以及keys的分布情况。非常好用。。。。

2018-07-10

快速学习大数据教材,快速入门

公司内部的大数据培训教材,学习此资料可尽快入门。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

2018-07-10

windows-server-2012-R2中文语言包

windows-server-2012-R2中文语言包

2017-06-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除