- 博客(8)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 mapreduce中MAP数量如何控制？
一、果断先上结论1.如果想增加map个数，则设置mapred.map.tasks 为一个较大的值。2.如果想减小map个数，则设置mapred.min.split.size 为一个较大的值。3.如果输入中有很多小文件，依然想减少map个数，则需要将小文件merger为大文件，然后使用准则2。 二、原理与分析过程看了很多博客，感觉没有一个说的很清楚，所以我来整理一下
2016-10-28 11:05:41
3135
原创 shc对Shell脚本加密方法及问题处理
Shc可以用来对shell脚本进行加密，可以将shell脚本转换为一个可执行的二进制文件。经过shc对shell脚本进行加密后，会同时生成两种个新的文件，一个是加密后的可执行的二进制文件（文件名以.x结束），另一个是C语言的原文件（文件名以.x.c结束）。下面就说明一下shc的安装,参数，以及使用示例：下载安装：(官网下载地址: http://www.datsi.fi.upm.es
2016-10-26 15:53:00
7612
3
原创 CentOS6.5下supervisor 3.0安装与使用
1、查看python版本[root@web1 ~]# python -VPython 2.6.62、下载并安装supervisorwget http://pypi.python.org/packages/source/s/supervisor/supervisor-3.0b1.tar.gz --no-check-certificatetar -zxvf supervis
2016-10-25 19:15:06
5585
转载 少数人的智慧(The Wisdom of the Few)
看 到这么个有吸引力的名字，你不会觉得它是一篇学术论文，但实际上，它是的。这是2009年Amatriain等人发表在ACM的一篇关于推荐系统的文章。从这个并不太学术的题 目，你大概可以意想到这里面并不会涉及太多繁琐的理论细节。实际上，如果你有一些关于推荐系统的背景，你可以毫无障碍的把它读下来，因为它就相当于一篇报 告文学一般好懂，但其中揭示的道理却并非如它显示出来的那么显浅，尽管文中的叙述不一定很
2016-10-21 16:36:13
405
转载 python入门（1）-命令方式理解
# _*_ coding: utf-8 _*_"""类型和运算----类型和运算----类型和运算----类型和运算----类型和运算----类型和运算----类型和运算----类型和运算----类型和运算----类型和运算----类型和运算"""#-- 寻求帮助： dir(obj) # 简单的列出对象obj所包含的方法名称，返回一个字符串列表 hel
2016-10-17 19:27:24
1975
原创 Scrapy下xpath基本的使用方法
Scrapy是基于python的开源爬虫框架，使用起来也比较方便。具体的官网档：http://doc.scrapy.org/en/latest/之前以为了解python就可以直接爬网站了，原来还要了解HTML，XML的基本协议，在了解基础以后，在了解下xpath的基础上，再使用正则表达式(python下的re包提供支持)提取一定格式的信息（比如说url），就比较容易处理网页了。xpath是
2016-10-14 16:29:09
910
原创 Firefox中firebug和xpath checker工具的使用
Firefox是一个非常专业的浏览器，它许多插件。由于爬虫项目需要，要看网页的代码，并且找到有用信息，我推荐firebug这个看代码的工具，并使用xpath提取需要的信息。firefox浏览器安装好，打开菜单-》附加组件-》扩展-》搜索firebug和xpath checker，安装就可以了，最后重启浏览器Firebug:安装好之后，可以在屏幕的下方看到一个小虫的标志，是暗色的，说
2016-10-14 16:25:58
3550
转载 关于系统运维监控的几点建议
为了更好、更有效的保障系统上线后的稳定的运行。对于服务器的硬件资源、性能、带宽、端口、进程、服务等都必须有一个可靠和可持续的监测机制，统计分析每天的各种数据，从而能及时反映出服务器哪里存在性能瓶颈、安全隐患等。另外是要有危机意识，就是了解服务器有可能出现哪些严重的问题，出现这些问题后该如何去迅速处理。比如数据库的数据丢失，日志容量过大，被黑客入侵等等。一、上线之前的准备工作1、首先是备
2016-10-11 11:54:00
2669
1
Python深度学习（Deep Learning With Python中文版）
2018-09-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人