自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 mac上修改文件的显示与隐藏 隐藏文件 文件属性

显示所有隐藏文件的方法: terminal中输入: defaults write com.apple.finder AppleShowAllFiles -bool true 同理,再次隐藏就输入: defaults write com.apple.finder AppleS...

2015-05-17 19:17:38

阅读数 7148

评论数 0

原创 centos 安装 redis3.0.0 集群

这里创建6个redis节点,其中三个为主节点,三个为从节点。 redis和端口对应关系: 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 从: 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 步骤: 1,下载re...

2015-04-29 19:16:26

阅读数 16999

评论数 9

转载 SecureCRT for Mac密码不能保存解决方法

安装完SecureCRT for Mac之后,会发现保存密码的功能是不能使用的,这是为什么呢,这个这么方便的功能居然不能使用。  其实这是因为SecureCRT默认设置为使用Mac OS自带的“钥匙串访问[Keychain]”来保存密码,只要取消掉这个选项就能用SecureCRT自己的保存密码功...

2015-03-18 17:56:48

阅读数 956

评论数 0

原创 pip 直接安装tar.gz zip文件包 (windows linux mac 可用)

在不能连接外网的机器上安装python的各种包,解压安装要人工输入多条命令: tar -zxvf Flask-WTF-0.10.0.tar.gz cd Flask-WTF-0.10 python setup.py build python setup.py install 如果安装了pip,直...

2014-08-26 10:22:39

阅读数 37347

评论数 1

转载 转:python_文本文件里面随机抽取若干行,写入新的文本文件里面

转: #encoding=utf-8 import random from sets import Set     def copyfile(srcfile, dstfile, linenum):      """          get li...

2014-03-26 16:13:44

阅读数 3820

评论数 0

转载 必须转一个:为什么 Android 的机器主频和核心数比 iPhone 高,却没有更流畅?

为什么 Android 的机器主频和核心数比 iPhone 高,却没有更流畅? 以 Nexus 5 和 iPhone 5s 为例,部分硬件对比如下: CPU: Nexus 5 :Krait 400架构 2.3GHziPhone5S : Cyclone 架构 1.3GHz ...

2014-02-28 20:48:19

阅读数 1487

评论数 0

转载 Python程序员必知必会的开发者工具

http://www.oschina.net/news/48645/python-developer-tools?from=20140216 Python已经演化出了一个广泛的生态系统,该生态系统能够让Python程序员的生活变得更加简单,减少他们重复造轮的工作。同样的理念也适用...

2014-02-18 09:25:59

阅读数 1674

评论数 0

转载 20 个强大的 Sublime Text 插件

作为一个开发者你不可能没听说过SublimeText。不过你没听说过也没关系,下面让你明白。 SublimeText是一款非常精巧的文本编辑器,适合编写代码、做笔记、写文章。它用户界面十分整洁,功能非同凡响,性能快得出奇。这些非常棒的特性包括任意跳转(Goto Anything)、多重选择(mul...

2014-02-18 09:20:29

阅读数 8707

评论数 0

原创 机器学习中的语言比较:R、OCTAVE、Python比较

对三种语言进行了一个基本的比较,直接翻译主要表格: 项 R Ocatave Python 不需要非常高深的编程能力 Yes Yes Yes 入门简单 No Yes Yes 适合处理大量数据 No No Yes 适合算法开发 Yes Yes Yes 可视化方面做得好 Yes Yes NO ...

2014-01-20 22:40:39

阅读数 14121

评论数 0

原创 awk 文件a中包含的文件b的某列

如: awk -F'\t' 'ARGIND==1{arra[$1]}ARGIND>1{if ($1 in arra) ; else nomatch[$1]++ } END{for(i in nomatch) print i}' 4.matched 4...

2013-12-30 12:23:43

阅读数 2144

评论数 0

原创 给mrjob的python脚本加map reduce 个数限制 和 hadoop任务调度优先级

如: python ${ReportDailyPyFile}  ${pystr}  --jobconf mapreduce.job.priority=VERY_HIGH  --jobconf mapred.map.tasks=20 --jobconf mapred.reduce.tasks=5...

2013-12-30 11:42:30

阅读数 2765

评论数 0

转载 hive性能优化

一、join优化 Join查找操作的基本原则:应该将条目少的表/子查询放在 Join 操作符的左边。原因是在 Join 操作的 Reduce 阶段,位于 Join 操作符左边的表的内容会被加载进内存,将条目少的表放在左边,可以有效减少发生内存溢出错误的几率。 Join查找操作中如果存在...

2013-12-17 11:48:18

阅读数 1367

评论数 0

转载 深度学习: 推进人工智能的梦想

摘要:深度学习带来了机器学习的新浪潮,推动“大数据+深度模型”时代的来临,以及人工智能和人机交互大踏步前进。如果我们能在理论、建模和工程方面突破深度学习面临的一系列难题,人工智能的梦想不再遥远。 2012年6月,《纽约时报》披露了Google Brain项目,吸引了公众的广泛关注。这个项...

2013-12-15 13:45:07

阅读数 1223

评论数 0

转载 不是吓唬你,工程师不知道谷歌的深度学习系统在想什么

PS:谷歌的猫试验,语音识别和音频识别的错误率大幅的降低,加上超乎工程师能理解的逻辑。深度学习值得我们深入研究。 不是吓唬你,工程师不知道谷歌的深度学习系统在想什么 原文出处: THEREGISTER   译文出处: EVOLIFE 虽然科幻电...

2013-12-15 11:59:20

阅读数 914

评论数 0

转载 “给在读研究生+未来要读研同学们的一封受益匪浅的信”(摘录+整合)

(仅以此文使自己进步,时时规范自己的行为。谦虚使人进步,骄傲使人落后。) 当你上课感觉就像打酱油时,当你对研究生很迷茫时,当你坐在电脑前孜孜不倦时,请看下面的文章,很受用,至少我心里现在没有以前浮躁。好的文章有时能改变一个人的精神状态,下面就是其中之一。  上海大学一位老师说:“不...

2013-11-26 13:51:40

阅读数 8818

评论数 3

原创 《大话设计模式》Python版代码实现

原文地址: http://www.cnblogs.com/wuyuegb2312/archive/2013/04/09/3008320.html 使用Python版本为2.6。   配图同样摘自《大话设计模式》,因此是C#风格的UML类图,为了便于排版已经缩小了。    ...

2013-11-16 13:04:46

阅读数 3083

评论数 0

原创 python hadoop 在streaming中获取文件名的方法 (参考java )适用: MRjob

在hadoop的开发中,经常要根据streaming中不同的文件名做不同的处理,需要获取文件名。 1,hadoop上在java开发可用: FileSplit fileSplit = (FileSplit)reporter.getInputSplit(); String fileName = ...

2013-11-06 11:46:32

阅读数 6564

评论数 0

原创 Mrjob介绍 (hadoop with python)

什么是mrjob 一个通过hadoop、emr的mapreduce编程接口(streamming),扩展出来的一个python的编程框架。 安装 先安装python 2.5+版本(对应0.4) 线上目前版本:python 2.6.8 调度机安装mrjob即可: http://pytho...

2013-11-04 11:19:02

阅读数 6881

评论数 0

原创 note express 安装报错 win7 debug

For security purposes, this program will not run while system debuggers are active. Please remove or disable the system debugger before trying to run...

2013-10-26 21:32:27

阅读数 4297

评论数 1

转载 NoteExpress和Endnote文献管理软件使用的比较

1. 文献的发现、组织、管理功能 在这一点,NoteExpress和Endnote功能比较相近,也都可通过三种途径(手动导入、联机检索导入、检索结果生成文件导入)来导入参考文献;也都可对本地文献库的进行检索、查重、编辑; A:在此功能上,NoteExpress软件的优点有: 1) 全中文界面,用户...

2013-10-26 19:34:41

阅读数 10734

评论数 0

原创 Python队列服务 Python RQ Functions from the __main__ module cannot be processed by workers.

在使用Python队列服务 Python RQ 时候的报错: Functions from the __main__ module cannot be processed by workers. 原因:  work 不能和job放在同一模块中,否则程序会报错 ...

2013-10-09 12:12:58

阅读数 2212

评论数 0

原创 LINUX 命令行编辑

向          <-前               后 -> 删除 ctrl + d      删除光标所在位置上的字符相当于VIM里x或者dl ctrl + h      删除光标所在位置前的字符相当于VIM里hx或者dh ctrl + k      删除光标后面所...

2013-09-11 13:41:18

阅读数 1299

评论数 0

原创 安装html5转化为pdf的python库pisa 安装matplotlab把数据转化为图形的python库

安装html5转化为pdf的python库pisa 1,先安装python2.7.3 2,再安装pip https://raw.github.com/pypa/pip/master/contrib/get-pip.py $ python get-pip.py 3,安装依赖库和xhtml2pdf p...

2013-09-01 15:46:19

阅读数 2655

评论数 0

转载 免费api

天气接口   气象局接口   完整数据:http://m.weather.com.cn/data/101010100.html 解析 用例   当天数据:http://www.weather.com.cn/data/cityinfo/101010100.html   实时数...

2013-07-24 16:31:26

阅读数 908

评论数 0

转载 PIG LATIN分析报告

Pig Latin分析报告 Pig Latin简介 对海量数据的按需分析处理需求不断增加,尤其是对于因特网公司,它们的技术革新主要依赖于对每天收集的数据的分析处理能力。要提高如此巨大数据集的存储和分析效率,必须采用高度并行的系统,例如:shared-nothing cluster。并行...

2013-07-17 15:19:35

阅读数 3276

评论数 0

原创 HttpServletRequest之getParameter

HttpServletRequest的getParameter()方法内的参数就是jsp中所定义的name的值,比如常常在login.jsp中, 索引号引起来的"username"和password"就是getParameter()的参数, getParam...

2013-05-24 14:25:55

阅读数 4640

评论数 0

原创 Eclipse制作jar包

介绍一下使用Eclipse制作jar包的过程吧: 1. 首先在Eclipse中打开项目, 右键点击项目,选择“Export”; 2. 选择Java/JAR file,Next; 3. Select the resources to export中可以选择你想要包含的项...

2013-05-07 16:42:33

阅读数 1212

评论数 0

原创 Java 实时运算簿页面

java实时运算簿页面(Java Scrapbook Page)  写程序时可能会些其它的想法,但不知是否可行:多数情况是直接写到程序再来 debug,或是另外写各小程序。 Eclipse 提供一种轻巧的替代方式,Java 实时运算簿页面(Java Scrapbook Page),藉由渐进式编...

2013-05-07 15:38:20

阅读数 937

评论数 0

原创 RCP Eclipse

简介 RCP,Rich Client Platform,富客户机平台 Rich Client是一个相对的概念,主要是针对时下广泛的基于WEB的应用,因为这种客户端(也即现有的各种浏览器)的运行环境没有提供一个很好的组件模型和交互模型致使这种应用的界面的同服务之间的交互变得很奇怪,每一次...

2013-05-07 14:54:05

阅读数 1242

评论数 0

原创 转载:周航:与其失望 不如创新

今年春节有一个特别的话题,许多人拜年不再发短信,而是改发微信了。一个“群发助手”几乎没有成本,比起一毛钱一条的短信,还得费劲巴拉地一条条发,不知爽了多少。说实话,微信给运营商留着面子呢,那个多人实时语音对讲功能,开放2人权限不就是电话嘛,连电话号码都不用了。有人操心地给三大运营商算了算账,说一个小...

2013-04-07 12:54:59

阅读数 802

评论数 0

原创 pig Latin 开发 环境 工具 eclipse

1,安装eclipse 2,从http://code.google.com/p/pig-eclipse/downloads/list 下载org.apache.pig.contrib.eclipse_1.0.0.jar,拷贝到eclipse的plugins文件夹 3,启动eclipse,新建文...

2013-03-28 16:49:33

阅读数 2374

评论数 0

原创 awk 替换 匹配

原文:http://liveforlinux.blog.51cto.com/3337218/741865 [root@localhost test]# cat awk 1a 9,100.34 1b 1,999.00 1c 5,656.55 [root@localhost test...

2013-03-28 15:06:34

阅读数 1034

评论数 0

原创 Hadoop的Python框架指南

转载,原文地址: http://www.oschina.net/translate/a-guide-to-python-frameworks-for-hadoop Hadoop的Python框架指南 最近,我加入了Cloudera,在这之前,我在计算生物学/基因组学上已经...

2013-03-12 13:29:23

阅读数 4737

评论数 0

转载 如何打造合作型团队——阿里内贸团队敏捷实践

本文中,来自阿里内贸团队的工程师分享了所在团队打造合作型“精英”小团队的敏捷实践方法,同时讲述了实践的效果,旨在给大家一些启发,以供参考和借鉴。 能打造出Facebook里所提倡的“精英团队”固然非常好,但这样会对团队中的每位成员都有较高的要求。我所在的团队希望通过将团队合 作精神运用在...

2013-03-06 09:38:19

阅读数 853

评论数 0

转载 Shell 条件测试

参考 shell条件测试请问替代test语句的单中括号和双中括号表达式的区别 分类参考 文件状态测试 -b filename 当filename 存在并且是块文件时返回真(返回0) -c filename 当filename 存在并且是字符...

2013-03-05 10:51:04

阅读数 608

评论数 0

原创 把换行符换为制表符 shell awk

cat filename.log | awk '{printf $0"\t"}'

2013-03-04 17:50:18

阅读数 6410

评论数 0

原创 ubuntu 10.04下安装arm交叉编译器

1.先将arm-linux-gcc-4.3.2.tgz的安装包复制到ubuntu10.04任意目录中。 用sudo tar -zxvf arm-linux-gcc-  4.3.2.tgz -C /home解压到home目录下。 2.安装标准C开发环境,sudo apt-get ...

2013-03-02 10:10:34

阅读数 943

评论数 0

转载 python中xrange和range的异同

range     函数说明:range([start,] stop[, step]),根据start与stop指定的范围以及step设定的步长,生成一个序列。 range示例:  >>> range(5) [0, 1, 2, 3, 4] >>> ...

2013-02-28 12:56:46

阅读数 633

评论数 0

转载 各种sql语句在hadoop pig中的实现

我这里以Mysql 5.1.x为例,Pig的版本是0.8     同时我将数据放在了两个文件,存放在/tmp/data_file_1和/tmp/data_file_2中.文件内容如下:     tmp_file_1: Txt代码   zhangsan    23...

2013-02-20 14:03:48

阅读数 3309

评论数 0

原创 一个python的邮件发送脚本,自动,定时,可以附件发送,抄送,附有说明文件 (本脚本是python的2.7.x环境下可用)

PS(2013-03-27):最近这个脚本用到了公司的另个项目中,才发现有个bug:发件人配置之后,无法起作用。现在查明是 (sendername,senderpass)=getUserAndPass(EMAILHOME+r'/sender.list')应该为 (sendern...

2013-01-21 16:07:08

阅读数 11849

评论数 2

提示
确定要删除当前文章?
取消 删除