廖雪峰GIT学习笔记 前言1. git是分布式文件版本管理系统。分布式的东西意味着去中心或者弱化中,也就是git-server万一挂了造成的损失也不会那么可怕。2. 安装:sudo apt-get install本地使用:1. git init即可创建一个空的代码仓库,建完多出一个.git目录2. git add file.txt ; git commit -m 'add file.txt'
python __file__的绝对路径与import的搜索路径 今天运行类型下列代码与预想中有出入print os.path.abspath(__file__) #文件不在根目录os.chdir('/')print os.path.abspath(__file__) #与第一次不一样但是运行import确实对的test=import__('xx')os.chdir('/')test=import__('xx')reload(test)
hdfs笔记 http://name-node:50070/作为namenode节点的前端页面,可以列出datanode和集群的基本分析,也可以浏览文件系统bin/hdfs dfs -help 可以看到操作命令bin/hdfs dfsadmin 则是与管理员相关的命令,例如:-report 看集群的基本分析(比namenode前端详细);-safenode 切换到安全模式;-refreshNodes 刷新dat
hadoop学习笔记二 ——非常规使用 cli minicluster:不用配置也不用java环境,即可快速体验hadoop,不想要了解,跳过。。hadoop为了性能用C重写了动态链接库,一般整个hadoop下载,跳过了解编译动态链接库的内容Superusers Acting On Behalf Of Other Users,涉及比较高级的代理执行,暂了解安全认证,暂不了解hdfs简单地跟踪,是挺不过的,等故障或者调优时再考虑学习
hadoop2.6学习笔记-hadoop体系结构理解 hadoop分布式系统由两部分组成:分布式文件系统+分布式计算框架(不止MapReduct)hadoop分布式文件系统(简称:hdfs)hdfs架构是namenode(secondeNameNode)+datanode组成分布式计算框架分布式计算框架由YARN管理,它的框架由ResourceManager+NodeManager组成,YARN与MapReduce的关系类似于
linux文件权限 linux有4个权限位,分别是特殊权限位,属主权限位,属组权限位,其他人权限位,后三者大家熟知,第一个权限位一般比较少注意到,但它非常有用SUID u+s 例如 chmod u+s xxx.bin 或者chmod 4553 xxx.bin 使用条件:调用者有该文件的执行权限+该文件时二进制文件,结果:调用者临时或者文件所有者的权限,特殊:当调用者无执行权限时,执行ll xxx.bin得到
ntp 服务器 1. 在所有机器搭建ntp后,发现使用/usr/bin/ntpdate xxx.xxx.xxx.xxx之后提示stratum太高,查看了一下配置发现一切正常。上网查看资料未果,于是隔了一天后重试竟然好了,为什么呢?2. ntp服务器为什么不做成C/S结构,而全部时S/S呢?
《flask web开发》二——蓝本 当app在函数中创建,而非在全局创建时,视图函数就无法使用到app.route装饰器,所以引入蓝本暂时把它理解为路由的替代吧使用方式是1. 在包或者模块中创建蓝本 xxx = Blueprint('main', __name__)2. 在最后一行引入from . import aa, bb(不懂)3. 在aa.py和bb.py中分别引入xxx进行配置路由4. 各种使
《flask web开发》笔记一 写一个应用,为了方便维护与提高重用性,需要将程序分为不同模块不同包,flask写大型也是如此。在我们的项目目录下,分别放着五种类型的文件:1. app(我们的项目目录) 2. test(测试文件夹) 3.migration(迁移或者备份文件夹) 4. congfig.py配置文件 5.manager.py(管理文件,也可命名为项目名.py)Miguel Grinberg这么设计是非常合
分布式文件系统-概念介绍 常见例子有HBase,MFS适用于“写一次,读多次”的文件类型,出于性能和复杂度的考虑,没设计得面面俱到,比如没有修改文件的能力。比起HTTP直接访问的文件(性能不高),用于存储特定计算的索引,原始数据更合适。分布式文件系统是在文件系统的基础上的一个抽象层,突破了系统限制分布式文件系统一般需要满足5个功能:分发,容错,海量,可扩展,负载均衡一般有存储节点(stored)和跟踪节点(tracker)
http 错误代码表 http 错误代码表所有 HTTP 状态代码及其定义。 代码 指示 2xx 成功 200 正常;请求已完成。 201 正常;紧接 POST 命令。 202 正常;已接受用于处理,但处理尚未完成。 203 正常;部分信息 — 返回的信息只是一部分。 204 正常;无响应 — 已接收请求,但不存在要回送的信息。 3xx 重定向
服务器搭建文档整理建议 学习服务器搭建过程中的笔记分为如下四类安装手册——只要按照这份指令去做肯定能完成搭建的文档配置手册——关键配置讲解,以及一份完整的配置模版概念手册——安装与配置所涉及到的所有概念操作手册——如何使用根据服务器的特点与实际需求调节这四个维度的权值
我的vim 我选择vim的原因很简单:在哪里都能使用,精通它便可不再被编辑器所烦恼。1. 插件管理工具:pathogen:没有插件管理器,那么删除插件将变得十分麻烦。安装了它之后,每个插件都以单独目录存在在~/.vim/bundle,若要卸载,把这个目录下的文件删除便可;若想更新,直接checkout到这个目录下。pathogen 只有一个单独的脚本,所谓安装就是把它放在你的 ~/.vim/
虚拟化技术分类简介 虚拟化技术就是在计算原件与资源之间添加一个虚拟化层,该层通常称为虚拟机监控器(VMM)或者Hypervisor。软件虚拟化与硬件虚拟化实现虚拟化的重要一步在于:虚拟化层能够截获计算元件对物理资源的直接访问,并重新定向的虚拟资源池中。若通过纯软件的方法实现截获并重定向,称为软件虚拟化,VMWARE。利用物力资源提供的机制来实现,称为硬件虚拟化,需CPU,主板芯片组,BIOS,软件等的支持。相
对于云计算的理解 云计算并没有统一的定义,基本上可以理解为下述的两种模式:1. 直观上:云计算是一种按使用量收费的模式,如同水电一般,将计算能力作为收费模式2. 技术上: 与计算是分布式计算能力的一种,是透过庞大的计算处理网络分拆计算任务,计算后处理结果返回给用户,这个网络被成为云云计算模式1. SaaS:软件即服务——用户向互联网订购软件服务,而不用自己买软件,如Google Docs,
用linux shell写的一个简单的刷博客访问量的脚本 本人在学习shell的时候无意中写了简单的shell脚本用于,刷博客访问量。本人只是在测试的时候用到这段代码,以后也不会用此代码。贴出代码,只是为了和大家分享代码。#!/bin/bash#Usage:该脚本名字 博文链接地址 访问次数#create time: 2012/08/15 17:43:28#modified time: N/A#version: 1#desciptio
grep与管道 管道与grep查询今天麟遇到一个问题让我学到很多东西。他想在当前目录及起子目录下查找一个包含“CHAT_MESS”的文件,于是,他输入以下命令find -name "*.*" | grep "CHAT_MESS"首先分析一下这条语句,find是查找命令,1. 只要加上-name文件名选项系列(例如-path,-regex等)即可实现递归查找;2. -name代表