spider_d-CSDN博客

转载 Python中使用json.loads解码字符串时出错：ValueError: Expecting property name: line 1 column 1 (char 1)

原文地址：http://www.crifan.com/python_json_loads_valueerror_expecting_property_name_line_1_column_1_char_1/【问题】处理:http://www.yupoo.com/photos/shanshu/87329678/中的html代码过程中，用代码：?

2017-03-03 16:05:30 5343

转载 hadoop stream 参数详解

原文地址：streaming" style="color:rgb(202,0,0); text-decoration:none">Hadoop streaming作者：tivoli_chen1 Hadoop streaming[html] view plain copyHadoop streaming是和hadoop一起发布的实用程序

2017-03-03 14:15:43 1143

原创 python中用hadoop提交任务的方法以及要注意的问题

python中用hadoop提交任务1）Streaming简介　　Hadoop的MapReduce和HDFS均采用Java进行实现，默认提供Java编程接口，用户通过这些编程接口，可以定义map、reduce函数等等。　　但是如果希望使用其他语言编写map、reduce函数怎么办呢？　　Hadoop提供了一个框架Streaming，Streaming的原理是用Java实现一

2017-03-03 11:16:54 1544

转载 python中string和Unicode的区别

首先要弄清楚的是，在python里，string object和unicode object是两种不同的类型。string object是由characters组成的sequence，而unicode object是Unicode code units组成的sequence。string里的character是有多种编码方式的，比如单字节的ASCII，双字节的GB2312等等，再比

2017-03-01 10:55:54 482

原创 Hadoop Streaming的使用

Hadoop MapReduce和HDFS采用Java实现，默认提供Java编程接口，另外提供了C++编程接口和Streaming框架。Streaming框架允许任何程序语言实现的程序在Hadoop MapReduce中使用，方便已有程序向Hadoop平台移植。 Streaming的原理是用Java实现一个包装用户程序的MapReduce程序，该程序负责调用MapReduce Jav

2017-02-13 17:37:21 1430

转载特殊文件--proc文件系统

1.proc文件系统proc文件系统是一个伪文件系统，它只存在内存当中，而不占用外存空间。它以文件系统的方式为访问系统内核数据的操作提供接口。用户和应用程序可以通过 proc得到系统的信息，并可以改变内核的某些参数。由于系统的信息，如进程，是动态改变的，所以用户或应用程序读取proc文件时，proc文件系统是动态从系统内核读出所需信息并提交的。作为一种特殊的文件，程序可以使用open，r

2017-01-09 17:59:33 370

转载 C++中的命名空间问题

一、为什么需要命名空间（问题提出）命名空间是ANSIC++引入的可以由用户命名的作用域，用来处理程序中常见的同名冲突。在C语言中定义了3个层次的作用域，即文件(编译单元)、函数和复合语句。C++又引入了类作用域，类是出现在文件内的。在不同的作用域中可以定义相同名字的变量，互不于扰，系统能够区别它们。 1、全局变量的作用域是整个程序，在同一作用域中不

2016-12-29 17:31:05 1018

转载关于git分支

Git是如何保存数据的？ Git 保存的不是文件差异或者变化量，而只是一系列文件快照。在 Git 中提交时，会保存一个提交（commit）对象，该对象包含一个指向暂存内容快照的指针，包含本次提交的作者等相关附属信息，包含零个或多个指向该提交对象的父对象指针：首次提交是没有直接祖先的，普通提交有一个祖先，由两个或多个分支合并产生的提交则有多个祖先。

2016-12-29 15:24:12 378

原创 Git常用命令总结

经常用到Git，但是很多命令记不住，将其整理于此。一般来说，日常使用只要记住下图6个命令，就可以了。但是熟练使用，恐怕要要记住60~100个命令。来自于网络下面整理的 Git 命令清单。几个专业名词的译名如下。Workspace：工作区Index / Stage：暂存区Repository：仓库区（本地仓库）Remote：远程仓库新建版本仓库#

2016-12-29 14:36:15 336

转载 MongoDB使用小结

http://www.cnblogs.com/cswuyg/p/4355948.html最近一年忙碌于数据处理相关的工作，跟MongoDB打交道极多，以下为实践过程中的Q&A，后续会不定期更新补充。1、count统计结果错误这是由于分布式集群正在迁移数据，它导致count结果值错误，需要使用aggregate pipeline来得到正确统计结果，例如：db.

2016-12-21 14:38:23 1031

转载 linux awk 数组和循环

awk 作为强大的文本处理工具，少不了数组处理。awk 中数组叫做关联数组(associative arrays)，下标可以是数字也可以是字符串。awk 中的数组不必提前声明，也不必声明大小，初始化数组元素用 0 或空串，这根据上下文而定。一语法语法： awk '{pattern + action}' 或 awk 'pattern {acti

2016-12-13 16:00:39 516

转载正则表达式中各种字符的含义

原文地址：http://www.cnblogs.com/afarmer/archive/2011/08/29/2158860.html正则表达式(regular expression)描述了一种字符串匹配的模式，可以用来检查一个串是否含有某种子串、将匹配的子串做替换或者从某个串中取出符合某个条件的子串等。列目录时， dir *.txt或ls *.txt中的*.txt就不是一

2016-10-25 15:58:41 480

转载关于C++，Java与Python的一点看法

来自：http://www.zeuux.org/blog/content/753/本人身在Java心在Python，这些日子与Java纠结不清，对于二者的一些看法本人原来是C++的忠实粉丝，当然大学里真可谓C++的铁杆，Java声名大噪，就是我进大学那会儿，可是这么好的机会，我却“波澜誓不起，妾心古井水”啊，要不然，毕业时找工作，真是要疯得疯，要盂得盂啊，这当然是其他的话了

2016-10-08 15:26:23 530

转载回调函数（http://www.cnblogs.com/this-543273659/archive/2011/07/20/2111815.html）

对于很多初学者来说，往往觉得回调函数很神秘，很想知道回调函数的工作原理。本文将要解释什么是回调函数、它们有什么好处、为什么要使用它们等等问题，在开始之前，假设你已经熟知了函数指针。　　什么是回调函数？　　简而言之，回调函数就是一个通过函数指针调用的函数。如果你把函数的指针（地址）作为参数传递给另一个函数，当这个指针被用为调用它所指向的函数时，我们就说这是回调函数。　　为什

2016-05-31 10:35:14 1040

转载使用BenchmarkSQL测试PostgreSQL(http://blog.sina.com.cn/s/blog_448574810101a276.html)

之前转载过师兄的一篇博文《linux下使用Benchmark测试PostgreSQL》，上面讲的很详细，自己也按照过上面的方法演练了一边，不过也发现了其中的一个小问题，这里我在根据现有的各种资料重新整理一下使用Benchmark测试PostgreSQL TPC-C性能的相关问题。一、BenchmarkSQL是什么？ BenchmarkSQL是一款经典的开源数据库测试工具，内嵌

2016-05-16 19:38:11 1529

转载 Linux（Ubuntu）下如何安装JDK

一、下载首先，当然是要下载了。地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html按照需要选择不同的版本。笔者选择的是jdk-7u79-linux-x64.tar.gz二、解压将下载下来的 .tar.gz 文件解压。使用如下命令解压：su

2016-05-12 10:20:09 269

原创 vim使用错误提示

错误1：E45: 'readonly' option is set (add ! to override)在使用vim编辑结束之后，想退出并保存，但是出现这种错误，是因为该用户对此文档只有读权限，而没有写权限。解决办法：sudo vim 文档名错误2：E486: Pattern not found: $libdir 这个错误指的是在使用搜索和替换命令：s

2016-05-12 10:18:51 2628

转载 diff and patch

转两篇diff和patch的文章, 打补丁相关.第一篇 : 情景一：你正尝试从代码编译一个软件包，发现有人已经对代码进行了小小的修改以便在你的系统上编译。他们通过补丁的方式发布自己的成果，但是你却不知道该如何使用它。答案是你使用一个叫做patch（很贴切）的命令行工具将补丁应用到原始代码上。情景二：你下载了一个开源软件包的代码，花了一个小时左右稍作修改，成功的让它在你的系

2016-05-10 10:40:51 270

原创 ubuntu下安装SCons

scons是一个Python写的自动化构建工具，需要安装python和scons后才能运行，能够跨平台。其集成功能类似于autoconf/automake ，是一个简洁可靠的工具。现在很多系统都自带python 所以直接安装scons即可。下载scons-2.2.0.tar.gz (注意其依赖 Python 版本要是 2.5 以上) 解压下载的文件，会创建一

2016-05-04 10:40:11 4178

转载 Linux内存管理的基本概念

1、页和页框的区别：页框，通俗的说是物理内存上的单元，请注意与页的区别，页有两层意思，但是最多的是线性地址的单元，所以，一个是实际物理内存的单元，一个是线性地址/虚拟内存的单元。2、地址（1）逻辑地址：指由程序产生的与段相关的偏移地址部分。在C语言指针中，读取指针变量本身值(&操作)，实际上这个值就是逻辑地址，它是相对于你当前进程数据段的地址。（2）线性地址：段中的

2016-04-19 19:16:33 1852

原创磁盘扇区和磁盘块、块设备

扇区（block）是驱动可以操作的最小单位，是磁盘级别的。一个磁盘扇区（sector)512个字节（现在有4K的了），扇区（sector)是磁盘的最小存储单位，块(block)是文件系统层的，mkfs时可以设置块的大小.磁盘块(block)应该是类似FAT的簇大小的概念，是操作系统中分配磁盘容量的最小单位. 块(block)是数据存储的最小单位！文件系统一般按照 Cluste

2016-04-17 20:28:59 6570

转载 NTFS和FAT

FAT是文件配置表（英语：File Allocation Table，首字母缩略字：FAT），是一种由微软发明并拥有部分专利的文件系统，供MS-DOS使用，也是所有非NT核心的微软窗口使用的文件系统。FAT文件系统考虑当时电脑性能有限，所以未被复杂化，因此几乎所有个人电脑的操作系统都支持。这特性使它成为理想的软盘和存储卡文件系统，也适合用作不同操作系统中的数据交流。现在，一般所讲的FAT专

2016-04-12 10:52:14 743

转载 FlashSim安装及测试（http://www.jianshu.com/p/d6323869198d）

DiskSim安装环境说明ubuntu10.04 LTS 最好 (12.x不行，然后非LTS可能提示无法更新)32bits 必须 (64bits ABI不兼容 Assembly Error)gcc-2.9.5 必须 flex-old/bison (版本不对可能提示*.h not found)环境搭建ubuntu 10.04 LTS 32bits虚拟机还是双系统随

2016-04-11 11:28:22 1147

转载 Flash存储的故事（http://alanwu.blog.51cto.com/3652632/1426457）

Flash存储是存储界的新人和红人。Flash存储系统由于其优异的性能、高效的存储密度和出色的节能特性使得Flash存储有望替代机械磁盘成为企业级存储的核心。未来很有可能所有的数据都会存储在Flash存储介质上面，包括银行、中小企业、互联网、电信等存储大户。当年沉迷于电子设计的时候，没有想到一个小小的Flash居然能够做成一个新兴的存储产业。做电子设计的时候，很多时候需要用到存储芯片，比较

2016-04-08 11:00:02 940

转载 ubuntu系统自带的火狐（firefox）如何安装Adobe Flash

1,先更新一下软件源sudo apt-get -f update 2,去adobe官网下载flash插件http://get.adobe.com/cn/flashplayer/比如我：下载下来后是这样的：install_flash_player_11_linux.x86_64.tar.gzsudo tar xvf install_flash_player_11_linux.x8

2016-03-24 15:53:14 673

原创 Ext2文件系统分区数据结构

Ext2文件系统的布局：磁盘的不同分区中可能对应的是不同的文件系统。任何Ext2分区中的第一个块从不受Ext2文件系统的管理，因为这一块是为分区的引导扇区所保留的。该块称为是引导块。任何一个磁盘分区中都有一个引导块。Ext2分区的其余部分分成块组（block group），每个块组的分布图如图所示。正如你从图中所看到的，一些数据结构正好可以放在一块中，而另一些可能需要更多的块。在Ext2文

2016-01-08 21:21:16 1406

转载 EAX、ECX、EDX、EBX寄存器的作用

EAX、ECX、EDX、EBX寄存器的作用一般寄存器:AX、BX、CX、DXAX:累积暂存器，BX:基底暂存器，CX:计数暂存器，DX:资料暂存器索引暂存器:SI、DISI:来源索引暂存器，DI:目的索引暂存器堆叠、基底暂存器:SP、BPSP:堆叠指标暂存器，BP:基底指标暂存器EAX、ECX、EDX、EBX：為ax,bx,cx,dx的延伸，各為32

2016-01-08 16:17:17 500

原创句柄

句柄，是整个Windows编程的基础。一个句柄是指使用的一个唯一的整数值，即一个4字节(64位程序中为8字节)长的数值，来标识应用程序中的不同对象和同类中的不同的实例，诸如，一个窗口，按钮，图标，滚动条，输出设备，控件或者文件等。应用程序能够通过句柄访问相应的对象的信息，但是句柄不是一个指针，程序不能利用句柄来直接阅读文件中的信息。如果句柄不在I/O文件中，它是毫无用处的。句柄是Window

2016-01-07 11:30:05 301

spider的博客