2012年03月_dy_252

08月 06月 05月 04月 03月 02月 01月

原创 iptables端口映射设置

503 iptables -P FORWARD DROP 504 iptables -A FORWARD -m state --state ESTABLISHED,RELATED -j ACCEPT 505 iptables -t nat -A PREROUTING -d 192.168.16.33 -p tcp --dport 50070 -j DNAT --to 192.16

2012-03-21 09:47:49 718

原创 hadoop删除节点

1、配置参数文件core-site.xml：dfs.hosts.excludes2、执行命令hadoop dfsadmin -refreshNodes执行上述命令后，hadoop在后台进行数据迁移。迁移过程中，可以通过namenode：50070进行监控。此过程中，被删除节点的数据并未删除，只是进行了数据迁移。待迁移完成后，被删除节点的datanode进程将不能访问na

2012-03-20 14:35:27 864

转载 hadoop处理不同输入目录文件

在写mapred任务的时候免不了要处理join。在join中最简单的就是一对一的join。下面通过一个小例子介绍如果在mapred中实现一对一的join。name.txt100 tom101 mary102 katescore.txt100 90101 85102 80要得到如下的join结果100 tom 90101 mary 85

2012-03-20 09:19:06 3277

转载 Python调用C语言函数

使用Python的ctypes，我们可以直接调用由C直接编译出来的函数。其实就是调用动态链接库中的函数。为什么我们需要这样做呢，因为有些时候，我们可能需要一个性能上比较讲究的算法，有些时候，我们可以在Python中使用已经有了的现成的被封闭在动态链接库中的函数。下面是如何调用的示例。首先，我们用一个乘法来表示一个算法功能。下面是C的程序：intmultiply(intnum1

2012-03-14 09:59:53 708

涵盖中国省市县镇村数据，总共74W+条记录，样例数据：740439 INSERT INTO `t_area` VALUES ('659004501504', '四连', '659004501000', '中国新疆维吾尔自治区自治区直辖县级行政区划五家渠市兵团一零二团', '5'); 740440 INSERT INTO `t_area` VALUES ('659004501505', '五连', '659004501000', '中国新疆维吾尔自治区自治区直辖县级行政区划五家渠市兵团一零二团', '5'); 740441 INSERT INTO `t_area` VALUES ('659004501506', '六连', '659004501000', '中国新疆维吾尔自治区自治区直辖县级行政区划五家渠市兵团一零二团', '5'); 740442 INSERT INTO `t_area` VALUES ('659004501507', '七连', '659004501000', '中国新疆维吾尔自治区自治区直辖县级行

2019-11-14

Hive资料整合

hadoop数据仓库应用软件hive。 hive学习资料整合，初学者必备。

2011-09-16

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

dy_252的专栏