2012年08月_dy_252

08月 06月 05月 04月 03月 02月 01月

转载 hadoop中使用lzo压缩

步骤：1、编译hadoop-lzo-xx.jarhadoop lzo下载位置： https://github.com/twitter/hadoop-lzo2、拷贝hadoop-lzo-xx.jar至hadoop/lib目录下，同时拷贝相应的本地库lib/native/Linux-amd64-64/* 至hadoop/lib/native/Linux-amd64-64下3、hado

2012-08-31 17:23:07 1152

原创 hadoop新增datanode处理

1、新增hadoop用户，与其它datanode采用相同主目录路径2、 datanode之间ssh无密码通信设置3、 hadoop部署（与其它datanode采用相同路径）4、修改/etc/hosts，增加集群其它节点信息5、java安装6、修改/etc/profile，增加hadoop、java相关变量信息7、修改/etc/security/limits.conf ，

2012-08-31 15:29:33 782

今天突然发现mysql主从同步从库的数据没有更新，但通过“show slave status”命令发现slave状态正常。通过查看slave日志，发现“[ERROR] Error reading packet from server: Got packet bigger than 'max_allowed_packet' bytes ( server_errno=2020）” ，修改my.cnf，

2012-08-31 11:33:37 600

t_area.sql

涵盖中国省市县镇村数据，总共74W+条记录，样例数据：740439 INSERT INTO `t_area` VALUES ('659004501504', '四连', '659004501000', '中国新疆维吾尔自治区自治区直辖县级行政区划五家渠市兵团一零二团', '5'); 740440 INSERT INTO `t_area` VALUES ('659004501505', '五连', '659004501000', '中国新疆维吾尔自治区自治区直辖县级行政区划五家渠市兵团一零二团', '5'); 740441 INSERT INTO `t_area` VALUES ('659004501506', '六连', '659004501000', '中国新疆维吾尔自治区自治区直辖县级行政区划五家渠市兵团一零二团', '5'); 740442 INSERT INTO `t_area` VALUES ('659004501507', '七连', '659004501000', '中国新疆维吾尔自治区自治区直辖县级行

2019-11-14

Hive资料整合

hadoop数据仓库应用软件hive。 hive学习资料整合，初学者必备。

2011-09-16

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人