茄肥猫-CSDN博客

转载 CentOS7安装Hadoop2.7完整流程

总体思路，准备主从服务器，配置主服务器可以无密码SSH登录从服务器，解压安装JDK，解压安装Hadoop，配置hdfs、mapreduce等主从关系。1、环境，3台CentOS7，64位，Hadoop2.7需要64位Linux，CentOS7 Minimal的ISO文件只有600M，操作系统十几分钟就可以安装完成，Master 192.168.0.182Slave1 192.168

2016-01-24 20:53:03 1325 1

转载搭建Hadoop2.7.1的分布式集群

网上教程有很多关于Hadoop配置的，但是每一个教程都对应了一个版本信息，有一些教程也存在很大的问题，配置环境，系统环境都没说清楚。在此我将记录下来从零搭建Hadoop2.7.1的过程，以及搭建过程中所遇到的一些问题。一操作环境说明1.1 ：操作系统： window8.11.2 ：虚拟机版本：VMware12二材料准备2.1 ubuntu-14.

2016-01-22 17:23:36 413

转载 python 找出空闲的端口 5个平台利用 socket 或 netstat 查看端口是否被占用

项目需求查看5个平台的某个端口是否被占用5个平台为windows, linux, aix, hp, solaris实现方案有两种利用 python 的 socket 模块里的def isInuse(ipList, port): s = socket.socket(socket.AF_INET, socket.SOCK_STREAM) flag=T

2015-12-31 11:03:00 3512

转载 python shell 根据ip 获取 hostname || 根据hostname 获取 ip

python shell 根据ip 获取 hostname || 根据hostname 获取 ip利用 socket 模块里的 gethostbyname 函数>>> import socket>>> socket.gethostbyname("www.baidu.com")'61.135.169.125'>>> socket.gethostbyname("rs.xidian.

2015-12-31 11:01:55 2344

转载 Python range和xrange的区别和联系

Python range和xrange的区别和联系一言以蔽之range产生的是一个列表，而xrange产生的是一个类似迭代器的。所以对于较大的集合时候，xrange比range性能好。因为range一次把所以数据都返回，而xrange每次调用返回其中的一个值代码验证print range(1,10)print xrange(1,10)print l

2015-12-31 11:01:11 497

转载 Python 编码问题 utf-8 和 unicode

前言：utf-8 和 unicodeUTF-8，1个汉字占3个字节，扩展B区以后的汉字占4个字节。 GBK，1个汉字占2个字节。 UTF-16，通常汉字占两个字节。 Unicode，一个英文等于两个字节，一个中文（含繁体）等于两个字节，范围是 \u4e00-\u9fa5。UTF-8是Unicode的一个实现？记得java虚拟机存储代码都是用unicode的，不涉

2015-12-31 11:00:23 1473

转载 Python Gui 学习 Tkinter

python Gui 学习 Tkinter代码很简单，练练手，这儿记录一下，如果以后需要用到python Gui可以深入学习。代码import Tkinter as tkapp = tk.Tk()app.title("Chen demo")theLabel = tk.Label(app,text="my second")app.geometry('200x10

2015-12-31 10:54:47 703

转载 Python 知识点记录日积月累

输出序列以及倒序输出print range(1,10)print range(1,10)[::-1]#output:#[1, 2, 3, 4, 5, 6, 7, 8, 9]#[9, 8, 7, 6, 5, 4, 3, 2, 1]12345加 r 不转义print "\\savc\nff"print r"\\savc\nff"#output:#\savc#ff#\\

2015-12-31 10:53:03 347

转载 Python 按行读取文本文件缓存和非缓存实现

需求最近项目中有个读取文件的需求，数据量还挺大，10万行的数量级。java 使用缓存读取文件是，会相应的创建一个内部缓冲区数组在java虚拟机内存中，因此每次处理的就是这一整块内存。简单的想：就是如果不用缓存，每次都要硬盘–虚拟机缓存–读取；有了缓存，提前读了一段放在虚拟机缓存里，可以避免频繁将硬盘上的数据读到缓存里。因为对内存的操作肯定是比硬盘的操作要快的。

2015-12-31 10:51:58 1751

转载 python实现爬虫统计学校BBS男女比例（三）数据处理

数据分析得到了以下列字符串开头的文本数据，我们需要进行处理名称特性correct此id的性别、活动时间都存在errTime此id的性别有，活动时间无（改成noTime可能更好）unkownsex此id的性别无法得知notexist此id不存在相应用户

2015-12-31 10:49:50 1032

转载 python实现爬虫统计学校BBS男女比例（二）多线程爬虫

数据分类正确数据：id、性别、活动时间三者都有放在这个文件里file1 = 'ruisi\\correct%s-%s.txt' % (startNum, endNum)数据格式为293001 男 2015-5-1 19:17没有时间：有id、有性别，无活动时间放这个文件里file2 = 'ruisi\\errTime%s-%s.txt' % (startNu

2015-12-31 10:46:04 677

转载 python实现爬虫统计学校BBS男女比例（一）前期准备、方案分析

2015-12-31 10:43:41 629

转载 linux的“自动化”

linux系统的web网站在运营状态时，我们常需要对网站进行维护，例如查看资源剩余并做出响应、日志分割、数据整理，在特定状态执行特定任务等等，这些都会需要linux能实现自动执行某些任任务。本篇博文介绍如何进行常见的linux自动化任务。实现“自动化”有如下好处：节省人力，一个脚本就够了。在夜晚自动执行可以避开网站流量高峰期，不影响网站白天的效率。准

2015-12-25 17:23:31 427

转载 Java开发必会的Linux命令

本文并不会对所有命令进行详细讲解，只给出常见用法和解释。具体用法可以使用--help查看帮助或者直接通过google搜索学习。1.查找文件find / -name filename.txt 根据名称查找/目录下的filename.txt文件。find . -name "*.xml" 递归查找所有的xml文件find . -name "*.xml" |xargs gr

2015-12-21 10:48:21 611

转载性能之巅：Linux网络性能分析工具

编者按：InfoQ开设新栏目“品味书香”，精选技术书籍的精彩章节，以及分享看完书留下的思考和收获，欢迎大家关注。本文节选自格雷格著《性能之巅：洞悉系统、企业与云计算》中第10.6节，介绍了其中Linux部分网络性能分析工具的使用方法。本文介绍基于Linux操作系统的网络性能分析工具。它们的使用策略参见前面的部分。本节介绍的工具列于下表中。Linux

2015-12-18 15:30:51 3067

转载用十条命令在一分钟内检查Linux服务器性能

如果你的Linux服务器突然负载暴增，告警短信快发爆你的手机，如何在最短时间内找出Linux性能问题所在？来看Netflix性能工程团队的这篇博文，看它们通过十条命令在一分钟内对机器性能问题进行诊断。概述通过执行以下命令，可以在1分钟内对系统资源使用情况有个大致的了解。uptimedmesg | tailvmstat 1mpstat -P ALL 1pi

2015-12-18 15:28:17 960

转载 GPFS在Linux下安装过程简述

1.安装GPFS包#rpm –ivh *.rpm(gpfs.base-3.1.0-1.x86_64,gpfs.docs-3.1.0-1.noarch,gpfs.gpl-3.1.0-1.noarch,gpfs.msg.en_US-3.1.0-1.noarch)2. 安装GPFS升级包rpm –Uvh *.rpm(gpfs.base-3.1.0-8.x86_64,gpfs.

2015-12-07 11:09:04 3083

原创 Python实现linux自动化运维（1）

通过运用 Python 第三方系统基础模块，可以轻松获取服务关键运营指标数据，包括 Linux 基本性能、块设备、网卡接口、系统信息、网络地址库等信息。在采集到这些数据后，我们就可以全方位了解系统服务的状态，再结合告警机制，可以在第一时间响应，将异常出现在苗头时就得以处理。

2015-11-26 11:23:17 7373

转载 Linux Shell 编程语法

编写代码在计划好要程序干什么以及如何使用程序的使用变得更加简单易学之后，程序员就必须以计算机能够理解的方式把他的想法记录下来，告诉计算机他想干什么。这就是要用到的所谓的代码。一般按照如下顺序组织自己的思维：1. 决定让计算机做哪些任务2. 确定计算机执行任务的顺序3. 从shell脚本语言中选择适当的命令来执行那些任务4. 用linux文本编辑器编辑一个shell脚本，并按任务

2015-11-23 16:05:37 396

转载 linux shell编程

linux shell编程1.什么是shell2. 还是hello world程序3. shell中的变量3.1 系统变量3.2 用户定义变量3.2.1 用户定义变量规则3.2.3 shell如何使用变量3.2.3 全局变量 vs 局部变量 4. shell编程中的控制结构4.1 条件判定4.1.1 简单条件判定4.1.2 组合判

2015-11-23 16:04:13 413

转载 [参考文档] 灾备中心(机房)运维外包管理办法

1 概述本办法仅针对灾备中心基础配套设施外包的管理，包括外包风险等级说明、服务商准入管理、机房环境标准、管理要求、服务水平承诺、安全性管理、服务监控评价、服务纠纷处理、服务中断与应急等。本办法将根据制度、法律、法规等的变更而适时更新。2 外包风险等级说明本灾备中心场地的外包类型属于“机房的基础配套设施”。风险等级符合“信息科技外包

2015-11-23 12:04:21 4042

转载 linux下安装DB2的详细步骤

linux下安装DB2的详细步骤！第一步:检查程序包及其版本在软件包管理中查看下列软件包是否安装，如没有安装，先安装下列软件包。libaio-*.rpm安装包包括DB2服务器所需的异步库libxp-*.rpm 安装包 (此包支持db2setup安装，但是必须将登陆语言更改为english)compat-libstdc++-7.3-2.96.118.i386.rpmx

2015-11-19 16:33:49 3915

转载在linux下安装db2全过程

一、db2安装：有两种安装方式：命令和图形界面。图形界面安装（可以root用户操作）：1、在ibm网站上下载db2安装包v9.7_linuxxia3_2_server.tar.gz2、用tar -zxvf v9.7_linuxxia3_2_server.tar.gz 命令解压3、用cd命令回到解压了的文件夹里，运行./db2setup，启动安装过程（可以

2015-11-19 16:33:00 3038

转载在SecureCRT下使用sz下载和rz上传文件

之前通过FTP来下载Linux机器上的文件，在Windows编辑完后再上传，如此比较麻烦，刚听同事说用sz和rz命令可以实现在SecureCRT中上传下载。配置上传下载目录：选择某个session 标签，点鼠标右键，弹出菜单，选择session option，如下图，设置上传和下载目录下载文件：进入linux的指目录中，输入命令sz filename,这

2015-11-19 16:28:36 440

转载 ORACLE 11G新特性2

ORACLE 11G在2007年7月11日发布，距现在有一年有余了，其最新版本是ORACLE 11.1.0.6.0.以下简称为11G.伴随每一次新版本的发行，ORACLE都会发布相应的文档。11G的文档库大约有1G，将近200个文档。下面是根据我们的实际情况，我整理出的可能和我们相关的11G的一些新功能。更全面的有关11G新功能请参看：Oracle® Database New Fe

2015-11-19 16:26:26 980

转载 Oracle 11g新特性

Oracle 11g于2007年7月11日美国东部时间11时（北京时间11日22时）正式发布，11g是甲骨文公司30年来发布的最重要的数据库版本，根据用户的需求实现了信息生命周期管理（Information Lifecycle Management）等多项创新。一．新特性提纲 1.数据库管理部分◆数据库重演(Database Replay) 这一特性

2015-11-19 16:23:31 1128

转载 Windows 2008 r2 64位系统修改远程桌面端口方法

虽然说windows server2008系统比windows server 2003系统更安全，刚刚购买了win2008服务器后，一些常规安全还需要我们自己手动设置的，为了安全起见，我们应该先把远程桌面端口修改一下（以端口修改为8989为例）运行：regedit，打开注册表[HKEY_LOCAL_MACHINE\SYSTEM\CurrentCont

2015-11-19 12:00:12 1279

转载 SAP router installation for Linux

SAP router installationSAP支持提供：You can test the connection with the following parameter:Destination IP address at SAP side: 169.145.197.110Hostname of this machine : sapserv9Customer d

2015-11-19 11:58:22 1816

转载安装SAP Solution Manager 7.1 on Suse Linux 2

目录(?)[+]SAP Solution Manager 安装，环境如下Linux OS版本下载完的Solution Manager 介质如下开始安装 Solution Manager使用70 SP08 70SWPM10SP08_0-20009701选择Typ

2015-11-19 11:56:44 3554

转载 Oracle如何限制固定IP的访问

d $TNS_ADMINtouch protocol.oratcp.validnode_checking=yes#不允许访问的IP#tcp.excluded_nodes=(10.16.8.100,10.16.8.101)#允许访问的IPtcp.inited_nodes=(10.16.8.73,10.16.8.244)

2015-11-19 11:54:42 914

转载 RAC 的一些概念性和原理性的知识

一集群环境下的一些特殊问题 1.1 并发控制在集群环境中，关键数据通常是共享存放的，比如放在共享磁盘上。而各个节点的对数据有相同的访问权限，这时就必须有某种机制能够控制节点对数据的访问。 Oracle RAC 是利用DLM(Distribute Lock Management) 机制来进行多个实例间的并发控制。 1.2 健忘症(Amnesia)

2015-11-19 11:53:40 612

转载 T-code：SE01，SE93，SE43 经常使用的几个事务码

T-code：SE93，给程序创建事务码，修改事务码，删除事务码T-code：SE43，将创建好的事务码添加到树型列表，方便用户查看。区域菜单里面填写你将此事务码打算放置的列表的哪个目录里，YWPP-- 顾问公司会为你们建好。点击编辑，在弹出的对话框里选择“英语”，我选择“中文”是创建不了的。不知道你们的版本是否可

2015-11-19 11:49:09 24762

转载 SAP HANA分布式系统及高可用性(一)

目录(?)[+]在实际的生产环境中, SAP HANA的分布式系统很常见, 因为随着数据量的扩充, 通常单机SAP HANA往往内存会越来越吃紧,所以有必要搭建分布式系统, 从而分散查询压力, 保持SAP HANA的高速性. 在另一方面, 在实际生产环境, 为了防止单机故障, 通常也会做HA, 以便当某个结点主机宕机之后系统能够保持稳定.以上便上SAP HANA

2015-11-19 11:47:48 5071 1

转载 SAP HANA数据恢复技术：数据库备份

目录(?)[+]SAP HANA数据库的备份为了保证最佳的性能，SAP HANA把数据存储在内存中，然而，SAP HANA也使用持久化的存储系统来进行故障的恢复。上一篇文章讲过，数据库进行正常操作时，数据和undo日志在保存点（Savepoint）过程中会自动地持久化到硬盘中，数据的变化被记录在redo日志中。Savepoint和写日志操作可以防止突然的断电对数据库的影响，

2015-11-19 11:46:51 6338

转载 SAP HANA 高可用性 (High Availability) 解决方案 -系统复制（System Replication）

分类： SAP HANA目录(?)[+]在上一篇博文SAP HANA 高可用性 (High Availability) 解决方案 (二) - Host Auto-Failover, 节点失效自动切换中，我们主要介绍了HANA高可用性方案中的故障恢复（Fault Recovery）的解决方案，接下来我们继续探讨另一不可或缺的部分，灾难恢复（Disast

2015-11-19 11:45:55 10342 1

转载 SAP HANA 高可用性 (High Availability) 解决方案 - Host Auto-Failover, 节点失效自动切换

SAP HANA完全支持系统高可用性的要求，对从简单的单点故障的自动恢复到严重的数据中心灾难恢复，都有完整的解决方案。下面我们先谈谈对使用影响相对较小的故障恢复，SAP HANA支持三种解决方案，为了应对从低到高的故障程度分别如下：服务自动重启，当HANA的某些核心服务（如indexserver，nameserver等）出现故障停止后，它们会被自动重启，从而让使用恢复正常；此功能默

2015-11-19 11:44:43 4767

转载 Oracle到SAP HANA实时复制系列：Replication Agent的安装与配置

分类： SAP HANA目录(?)[+]引言Oracle到SAP HANA实时复制系列(一)：初始SRS介绍了从Oracle到SAP HANA实时复制系统的体系架构，并阐述了数据实时复制过程。在Oracle到SAP HANA实时复制系列(二)：Replication Server的安装与配置文中结合截图一步步详细介绍了Replication

2015-11-19 11:42:19 1685

转载 Oracle到SAP HANA实时复制系列：Replication Server的安装与配置

分类： SAP HANA2015-07-28 16:25 18人阅读评论(0) 收藏举报目录(?)[+]引言 Oracle到SAP HANA实时复制系列(一)：初始SRS文章中介绍了从Oracle到SAP HANA实时复制系统的体系架构，并阐述了数据实时复制过程。本文结合图片详细介绍Linux操作系统下Replication Serve

2015-11-19 11:40:54 2629

转载 R语言包安装并实现与HANA的整合

1 R语言介绍 R语言是基于S语言的一个GNU计划项目，可以当成是S语言的一种实现，最初是由新西兰奥克兰大学的Ross Ihaka和Robert Gentleman开发，主要用于统计分析，绘图，数据挖掘．SAP HANA SP5版本发布以来，将SAP HANA的内存计算和R丰富的统计功能进行了完美的结合，使得在SAP HANA数据库中可以使用R语言作为存

2015-11-17 11:14:03 2187

转载在线迁移oracle数据文件 20

数据文件存放的位置是在文件系统。一、移动数据文件1.alter tablespace tbs read only;2.alter tablespace tbs offline;3.在offline后拷贝一份原文件，并命名为新文件名4.alter tablespace tbs rename datafile 'tbs_file_old.dbf' to 'tbs_file_ne

2015-11-17 11:11:45 1094

华视二代身份证读卡程序

空空如也