2016年07月_djd已经存在

转载 wget 文件下载

Linux系统中的wget是一个下载文件的工具，它用在命令行下。对于Linux用户是必不可少的工具，我们经常要下载一些软件或从远程服务器恢复备份到本地服务器。wget支持HTTP，HTTPS和FTP协议，可以使用HTTP代理。wget 可以跟踪HTML页面上的链接依次下载来创建远程服务器的本地版本，完全重建原始站点的目录结构。这又常被称作”递归下载”。在递归下载的时候，wget 遵循Rob

2016-07-27 19:13:57 782

原创 SecureCRT rz 上传文件失败问题

有时候使用rz上传大文件会失败，以为文件越大到最后最容易乱码下次只需要使用 rz -be 就可以了，将以ascill编码勾选。-a, –ascii-b, –binary 用binary的方式上传下载，不解释字符为ascii-e, –escape强制escape 所有控制字符，比如Ctrl+x，DEL等rar,gif等文件文件采用 -b 用binary的方式上传。文件比较大

2016-07-27 19:02:31 1871

转载 Hive:ORC与RC存储格式之间的区别

一、定义　　ORC File，它的全名是Optimized Row Columnar (ORC) file，其实就是对RCFile做了一些优化。据官方文档介绍，这种文件格式可以提供一种高效的方法来存储Hive数据。它的设计目标是来克服Hive其他格式的缺陷。运用ORC File可以提高Hive的读、写以及处理数据的性能。和RCFile格式相比，ORC File格式有以下优点：　　(

2016-07-26 13:38:44 6192

原创查询域名与对应ip的关系

今天找到一个网站，可以查询ip对应的域名，感觉还是很有用的，记录一下。http://tool.chinaz.com/windows的指令nslookupnslookup命令用于查询DNS的记录，查看域名解析是否正常，在网络故障的时候用来诊断网络问题。nslookup的用法相对来说还是蛮简单的，主要是下面的几个用法。 1、直接查询这个可能大家用到最多，查

2016-07-22 16:39:23 2214

原创 Pycharm 5.0 and Pycharm 2016 的破解

安装软件之后，调整时间到2050年，然后申请三十天试用，之后退出pyCharm，然后将时间调成回来就ok了。

2016-07-22 15:01:10 635

原创 shell删除创建时间大于10天的所有文件

清理文件脚本（已经测试通过）：find /tmp/hadoop-flume/s3 -mtime +10 -exec rm -rf {} \;crontab脚本：#clear 0 17 * * 5 cd /home/data/ sh clear_tmp.sh如果只有一个结点只需要再那个结点上写一个crontab脚本就可以没周定时清理了如果有多个结点，不想每一个结

2016-07-21 16:41:53 5574 1

转载 Python集合类型的操作---set

python的set和其他语言类似, 是一个无序不重复元素集, 基本功能包括关系测试和消除重复元素. 集合对象还支持union(联合), intersection(交), difference(差)和sysmmetric difference(对称差集)等数学运算. sets 支持 x in set, len(set),和 for x in set。作为一个无序的集合，sets不记录元素

2016-07-20 17:45:35 429

原创提取URL地址中的域名与端口

import urllib proto, rest = urllib.splittype("http://blog.csdn.net/djd1234567") print proto,rest host, rest = urllib.splithost(rest)print host,rest host, port = urllib.splitport(host) pr

2016-07-20 12:44:56 2451

原创域名、IP地址、URL关系

域名是个文字形式记录的IP地址 IP地址是计算机在网络中的门牌号！URL是网页地址例如1： http://zhidao.baidu.com/question/14674128.html 是URLzhidao.baidu.com就是域名220.181.18.110 就是IP地址你通过录入URL http://zhidao.baidu.com/quest

2016-07-15 18:33:49 2430

原创 hive的order by语句分析

Hive中的order by跟传统的sql语言中的order by作用是一样的，会对查询的结果做一次全局排序，所以说，只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理（不管有多少map，也不管文件有多少的block只会启动一个reducer）。但是对于大量数据这将会消耗很长的时间去执行。这里跟传统的sql还有一点区别：如果指定了hive.m

2016-07-15 14:43:31 2064

原创 ipconfig指令的使用指南

ipconfig——当使用IPConfig时不带任何参数选项，那么它为每个已经配置了的接口显示IP地址、子网掩码和缺省网关值。 ipconfig /all——当使用all选项时，IPConfig能为DNS和WINS服务器显示它已配置且所要使用的附加信息（如IP地址等），并且显示内置于本地网卡中的物理地址（MAC）。如果IP地址是从DHCP服务器租用的，IPConfig将显示DHCP服务器的

2016-07-13 12:08:15 1577

原创抓取csdn博客的所有文章url

输入博客的主域名，就可以抓取这个博客所有的文章编号。# -*- coding:utf8 -*- import stringimport urllib2import reimport timeimport randomclass CSDN_Spider: def __init__(self,url): self.myUrl = url s

2016-07-13 11:36:21 1561

Linux系统中的 iostat是I/O statistics（输入/输出统计）的缩写，iostat工具将对系统的磁盘操作活动进行监视。它的特点是汇报磁盘活动统计情况，同时也会汇报出CPU使用情况。同vmstat一样，iostat也有一个弱点，就是它不能对某个进程进行深入分析，仅对系统的整体情况进行分析。iostat属于sysstat软件包。可以用yum install sysstat 直接安装。

2016-07-12 20:16:58 964

原创 HTML URL 编码

下面是用 URL 编码形式表示的 ASCII 字符（十六进制格式）。十六进制格式用于在浏览器和插件中显示非标准的字母和字符。URL 编码 - 从 %00 到 %8fASCII ValueURL-encodeASCII ValueURL-encodeASCII ValueURL-encodeæ

2016-07-07 16:58:55 1704

原创 linux lsof使用详解，查看进程使用的文件、恢复删除文件

lsof简介lsof（list open files）是一个列出当前系统打开文件的工具。在linux环境下，任何事物都以文件的形式存在，通过文件不仅仅可以访问常规数据，还可以访问网络连接和硬件。所以如传输控制协议 (TCP) 和用户数据报协议 (UDP) 套接字等，系统在后台都为该应用程序分配了一个文件描述符，无论这个文件的本质如何，该文件描述符为应用程序与基础操作系统之间的交互提供了通用接口。因

2016-07-07 16:21:08 2167

原创 Spark:Yarn-cluster和Yarn-client区别与联系

我们都知道Spark支持在yarn上运行，但是Spark on yarn有分为两种模式yarn-cluster和yarn-client，它们究竟有什么区别与联系？阅读完本文，你将了解。　　Spark支持可插拔的集群管理模式(Standalone、Mesos以及YARN )，集群管理负责启动executor进程，编写Spark application 的人根本不需要知道Spark用的是什么集群管

2016-07-07 11:59:53 1081

原创 Linux下rz/sz安装及使用方法

新搞的云服务器用SecureCRT不支持上传和下载，没有找到rz命令。记录一下如何安装rz/sz命令的方法。一、工具说明在SecureCRT这样的ssh登录软件里, 通过在Linux界面里输入rz/sz命令来上传/下载文件. 对于某些linux版本, rz/sz默认没有安装所以需要手工安装。 sz: 将选定的文件发送(send)到本地机器;

2016-07-01 11:13:25 1179

京东放养的爬虫