Hadoop MapReduce Streaming小实验:单词计数

Hadoop MapReduce小实验:单词计数   输入:单词列表文件,里边的部分单词会重复,每个单词以换行分开。 good sun apple sun ……   mapper程序:利用AWK脚本再每个单词后边添加TAB和“1”。此时,单词是key,数字“1”是value,代表单词出现了一次,k...

2017-09-03 23:34:05

阅读数 445

评论数 0

PHP的最大递归层数

PHP的最大递归层数跟程序内存限额有关。php5默认允许一个程序使用128M的内存,因此当你的递归层数过大导致128M内存耗尽时,程序会产生一个致命错误并退出。   编辑php.ini文件可以更改PHP的最大内存使用限制: ; Maximumamount of memory a script...

2017-09-02 10:39:23

阅读数 1783

评论数 0

解决wordpress部分博客文章页面无法显示的问题

搭建完wordpress,试着写了一篇博客。文章发布后,首页已经能显示出文章的标题,但是点进去后却提示该页无法显示。 百度一番,先后尝试网上的修改apache配置等方法后依然无效。折腾到最后无意间发现,这个问题是由于wordpress生成的链接中包含中文字符导致的。手动修改链接为纯英文,问题解决。...

2017-06-22 20:06:34

阅读数 9256

评论数 4

利用阿里云搭建wordpress个人博客

系统环境:   服务器:阿里云ECS1核 2GB 系统:阿里云提供的CentOS 7.2 64位   安装:   安装PHP: yum install php php-devel yum install php-mysql yum install php-gd  #...

2017-06-21 23:25:29

阅读数 1448

评论数 0

c++多线程编程遇到的问题小结

众所周知,多线程编程很容易遇上诸如丢失更新、脏读、死锁等烦人的线程冲突问题。多线程的问题一旦发生便很难定位和解决,所以要在编程的初始阶段就要注意避免多线程程序常见的错误。下面总结一些个人在c++多线程编程中遇上的问题。 1、类中的数据成员要尽可能设置读写专用函数,并且在函数中用互斥锁进行并发保护...

2014-08-21 19:43:31

阅读数 3076

评论数 0

在python中扩展c语言模块

有一个以前写的c语言代码,我想把它用在python程序中。我先是看了《python基础教程》一书中的方法,书中说可以用swig加python内置distutils模块的方法来实现。我照着书上的步骤试了试,结果在导入模块的时候总是提示“ImportError: dynamic module doe...

2014-08-16 14:38:04

阅读数 1857

评论数 0

epoll所属IO模型的个人 见解

最近在学习IO模型,就突然想到了epoll属于哪个IO模型这个问题。要研究这个问题,我们首先要知道有哪些常用的IO模型。 常见的IO模型如下: 阻塞IO:程序阻塞直到IO可用。最简单的IO模型,你平时调用的recvfrom接收函数就属于这个模型。 非阻塞IO:程序调用IO函数后立刻返回,无论当前I...

2014-08-16 13:53:30

阅读数 1439

评论数 0

hiredis中异步的实现小结

一般情况下我们使用的都是hiredis的同步通信机制,这种机制下每当你向服务器发送命令请求,程序都会阻塞直到收到服务器的回复并处理。而如果采用异步通信,程序就不需要阻塞等待服务器的回复,而是直接继续执行后边的代码,当服务器回复到来后由程序中预先注册的回调函数来处理回复。

2014-08-15 13:14:19

阅读数 11270

评论数 3

yii框架:CDbConnection failed to open the DB connection: could not find driver的解决办法

这个问题是因为php中缺少pdo mysql造成的

2014-08-09 14:10:14

阅读数 5026

评论数 0

linux下php中找不到php配置文件php.ini的解决方法

首先需要说明的是,如果你的php是编译安装的,那么默认是没有php.ini的,你必须自行去源码包里边拷贝。之后运行phpinfo()命令可以看到php指定的配置文件路径,把配置文件放到这个路径中即可。

2014-08-09 14:08:44

阅读数 9078

评论数 0

mysql数据库拷贝

我们经常会有这样的需求,将某个服务器上的mysql数据库完整拷贝到其他机器上,比如数据库迁移。要想做到这点最简单的就是使用mysql提供的现成工具:mysqldump。     使用mysqldump的时候需要指定账号、密码、主机等信息。     例如:mysqldump -h 10.10.8...

2014-08-04 15:57:12

阅读数 793

评论数 0

php Warning:date(): It is not safe to rely on the system's timezone settings

这个问题是因为你没有设置php的默认时区。打开/etc/php.ini,然后找到date一栏,添加以下内容:date.timezone = Asia/Shanghai 之后还要重启apache:service httpd restart

2014-08-04 13:59:12

阅读数 493

评论数 0

yii框架搭建异常:Application runtime path is not valid

这个错误通常是因为yii对runtime path没有权限造成的。起初我按照网上的方法吧提示中的runtime path的权限设为777,但是问题依然存在。检查apache的设置,没有任何问题。接着我考虑是不是SELinux的问题,关闭SELinux,问题果然解决了。看来以后只要遇上文件权限相关的...

2014-08-04 13:58:06

阅读数 935

评论数 0

yii框架搭建问题:PHP Fatal error: require_once(): Failed opening required

这个问题一般是由于你的yii程序所在的目录无法被apache读造成的。把yii程序目录移动到apache可读的目录,例如/var/www/html即可解决这个问题

2014-08-04 13:56:21

阅读数 6530

评论数 0

mapreduce任务失败、重试、推测式执行机制小结

mapreduce中我们自定义的mapper和reducer程序在执行后有可能遇上出错退出的情况,mapreduce中jobtracker会全程追踪任务的执行情况,对于出错的任务mapreduce也定义了一套自己的处理方式。

2014-07-30 10:44:14

阅读数 3159

评论数 0

c++中析构函数调用时机的研究

众所周知,c++中的每个类都会有一个析构函数,当这个类的对象被销毁的时候,对象会自动调用析构函数。那么什么情况下对象的析构函数会被自动调用呢?其实这个问题也可以换种方式问,什么情况下对象会被自动销毁。

2014-07-29 11:43:00

阅读数 1630

评论数 0

利用sendmsg和recvmsg来指定发送接口或者获取接收数据接口

前言     sendmsg和recvmsg函数是一对相对下层的套接字发送、接受函数。通过这对函数,我们可以设置或者取得数据包的一些额外的控制信息,这些信息中比较常用的就是本文要介绍的发送、接受接口信息。通过这对函数,我们可以指定一个数据包发送的时候使用的接口(网卡)或者获得一个接受到数据包的来...

2014-07-13 19:33:22

阅读数 2354

评论数 0

Linux下利用signal函数处理ctrl+c等信号

前言     linux下可以通过信号机制来实现程序的软中断,是一个非常有用的编程方法。我们平时在程序运行的时候按下ctrl-c、ctrl-z或者kill一个进程的时候其实都等效于向这个进程发送了一个特定信号,当进程捕获到信号后,进程会被中断并立即跳转到信号处理函数。默认情况下一个程序对ct...

2014-07-13 17:53:09

阅读数 19055

评论数 0

linux套接字通信之recv中的缓存机制的研究

以前一直有这么一个小小的疑惑,当一个进程注册一个套接字后,如果这个套接字没有被调用recv函数接受数据包,那么这个套接字能接受到数据包吗? 或者这样说,如果我的程序注册了一个套接字去接受数据包,但是每收到一个数据包都需要很长一段时间处理,并且在处理数据包的途中recv函数使没有被调用的,那么如果程...

2014-07-13 17:29:47

阅读数 1128

评论数 0

centos下hadoop的安装

hadoop的安装不难,但是需要做不少的准备工作。 一、JDK 需要先安装jdk。centos下可以直接通过yum install java-1.6.0-openjdk来安装。不同发布版的安装方式可能不一样。     之后,需要设置ssh为密钥认证登录。如果没有这一步,那么以后每次hadoop运行...

2014-07-13 17:25:01

阅读数 708

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭